import abc
import tensorflow as tf
class AbstractLayer(tf.keras.layers.Layer):
"""Abstract Layer."""
def __init__(self):
"""Inits the class."""
super(AbstractLayer, self).__init__()
@abc.abstractmethod
def call(self, inputs):
"""Makes forward pass of the layer."""
pass
class AbstractModel(tf.keras.Model):
"""Abstract model."""
def __init__(self):
"""Inits the class."""
super(AbstractModel, self).__init__()
@abc.abstractmethod
def call(self, inputs, training=False):
"""Makes forward pass of the network."""
pass
@abc.abstractmethod
def fit(self, **kwargs):
"""Fits the model.
Replaces original fit method.
More information can be found in documentation:
https://www.tensorflow.org/guide/eager
https://www.tensorflow.org/guide/autodiff
"""
pass
@abc.abstractmethod
def predict(self, x):
"""Predicts x"""
pass
import pickle
# Wczytanie zbioru danych
dataset_path = 'dataset.pkl'
with open(dataset_path, 'rb') as f:
dataset = pickle.load(f)
images_raw_train = dataset['train']['X']
images_raw_test = dataset['test']['X']
images_raw_valid = dataset['validation']['X']
labels = dataset['train']['y']
labels_test = dataset['test']['y']
lebels_valid = dataset['validation']['y']
# Ustawienie ziarna
tf.random.set_seed(1234)
# Zmiana rozmiaru obrazu z 224x224 do 64x64
images = tf.image.resize(
images_raw_train, [64, 64],
method=tf.image.ResizeMethod.NEAREST_NEIGHBOR,
preserve_aspect_ratio=False,
name=None
)
images_test = tf.image.resize(
images_raw_test, [64, 64],
method=tf.image.ResizeMethod.NEAREST_NEIGHBOR,
preserve_aspect_ratio=False,
name=None
)
images_valid = tf.image.resize(
images_raw_valid, [64, 64],
method=tf.image.ResizeMethod.NEAREST_NEIGHBOR,
preserve_aspect_ratio=False,
name=None
)
# Zmiana typu obrazów z int na float i normalizacja wartości pikseli z przedziału 0-255 do przedziału 0-1
images = tf.cast(images, tf.float32) / 255.0
images_test = tf.cast(images_test, tf.float32) / 255.0
images_valid = tf.cast(images_valid, tf.float32) / 255.0
# Zmiana wymiarowości z [8870] na [8870, 1] w celu zastosowania `SparseCategoricalCrossentropy`
labels = tf.reshape(labels, [-1, 1])
labels_test = tf.reshape(labels_test, [-1, 1])
labels_valid = tf.reshape(lebels_valid, [-1, 1])
# Do iterowania zbioru danych i podzielenia na paczki (ang. batch) można wykorzystać interfejs zdefiniowany w `tensorflow.data.Dataset`
Prezentacja danych:
import matplotlib.pyplot as plt
plt.figure()
plt.figure(figsize=(12,12))
rows = 5
cols = 5
for img in range(rows*cols):
plt.subplot(rows,cols,img+1)
plt.imshow(dataset['train']['X'][img])
plt.show()
<Figure size 432x288 with 0 Axes>
def plot_confusion_matrix(cm, classes,
normalize=False,
title='Confusion matrix',
cmap=plt.cm.Blues):
"""
This function prints and plots the confusion matrix.
Normalization can be applied by setting `normalize=True`.
"""
plt.imshow(cm, interpolation='nearest', cmap=cmap)
plt.title(title)
plt.colorbar()
tick_marks = np.arange(len(classes))
plt.xticks(tick_marks, classes, rotation=45)
plt.yticks(tick_marks, classes)
if normalize:
cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
print("Normalized confusion matrix")
else:
print('Confusion matrix, without normalization')
#print(cm)
thresh = cm.max() / 2.
for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
plt.text(j, i, cm[i, j],
horizontalalignment="center",
color="white" if cm[i, j] > thresh else "black")
plt.tight_layout()
plt.ylabel('True label')
plt.xlabel('Predicted label')
from tqdm import tqdm
import abc
import tensorflow as tf
class MLP_Layer(AbstractLayer):
def __init__(self, units,initilizer_weights,initilizer_bias):
"""Inits the class."""
self.units = units
self.weights_initilizer=initilizer_weights
self.bias_initilizer=initilizer_bias
super(MLP_Layer, self).__init__()
def build(self, input_shape):
"""Here we build our layer. Here will be create Weights and baiases"""
self.w = self.add_weight(shape=(input_shape[-1], self.units),
initializer=self.weights_initilizer,
trainable=True)
self.b = self.add_weight(shape=(self.units,),initializer=self.bias_initilizer,trainable=True)
def call(self, inputs):
"""Makes forward pass of the layer."""
#y = a*x +b -> weights * input + bias
ax = tf.matmul(inputs, self.w)
y = ax + self.b
return y
import matplotlib.pyplot as plt
import tensorflow as tf
from tqdm import tqdm
import numpy as np
from sklearn.metrics import f1_score, accuracy_score
class MLP(AbstractModel):
def __init__(self,from_logits=False):
super(MLP, self).__init__()
self.lr = 1e-3
self.optim = tf.keras.optimizers.Adam(learning_rate=self.lr)
self.loss_fn=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=from_logits) #from logits zamiast softmaxa można
self.batch_size = 100
self.num_epochs = 25
def compile(self, **kwargs):
number_of_MLP_layers = kwargs['layers']
units = kwargs['units']
weig_init = kwargs['initializer_weights']
bias_init = kwargs['initializer_bias']
self.MPL_layers =[]
for layer in range(number_of_MLP_layers):
self.MPL_layers.append(MLP_Layer(units=units,initilizer_weights=weig_init,initilizer_bias=bias_init))
self.full_connected_2 = MLP_Layer(units=14,initilizer_weights=weig_init,initilizer_bias=bias_init)
if 'optim' in kwargs:
self.optim = kwargs['optim']
if 'batch' in kwargs:
self.batch_size = kwargs['batch']
if 'epoch' in kwargs:
self.num_epoch = kwargs['epoch']
def call(self, inputs, training=False):
"""Makes forward pass of the network."""
x = tf.reshape(inputs,[inputs.shape[0],64*64*3])
for layer in self.MPL_layers:
x= layer(x)
x=tf.nn.relu(x)
x = self.full_connected_2(x)
x = tf.nn.softmax(x) #Activation 2 layer
return x
def fit(self, **kwargs):
history = {'Loss':[],
'Accuracy':[],
'Fscore':[]}
history_test = {'Loss':[],
'Accuracy':[],
'Fscore':[]}
history_valid = {'Loss':[],
'Accuracy':[],
'Fscore':[]}
batch_size = self.batch_size
#print(type(history['loss']))
train_dataset= kwargs['dataset']
train_labels = kwargs['labels_train']
test_dataset= kwargs['dataset_test']
valid_dataset= kwargs['dataset_valid']
labels_valid= kwargs['labels_valid']
labels_test=kwargs['labels_test']
batch = kwargs['batch']
self.num_epochs = kwargs['epochs']
NUMBER_OF_CLASSES = 14
train_ds = tf.data.Dataset.from_tensor_slices((images, labels))
size=len(train_dataset)
train_ds = train_ds.shuffle(buffer_size=size).batch(batch_size=batch)
size = size/batch_size
if(train_dataset!=None):
for epoch in tqdm(range(self.num_epochs)):
loss_sum = 0
fscore = 0
prec = 0
recall = 0
acc = 0
iterator=0
for x, y in train_ds:
iterator+=1
with tf.GradientTape() as tape:
y_prediction = self.call(x,training=True)
loss = self.loss_fn(y_true=y,y_pred=y_prediction)
loss_sum+=tf.keras.backend.sum(loss)
grads = tape.gradient(loss, self.trainable_variables)
self.optim.apply_gradients(zip(grads,self.trainable_variables))
history['Loss'].append((loss_sum/iterator).numpy())
pred = self.predict(train_dataset)
acc, F = self.validate(y_pred=pred,y_true=train_labels)
history['Accuracy'].append(acc)
history['Fscore'].append(F)
y_prediction = self.predict(test_dataset)
y_loss = self.call(test_dataset).numpy()
acc, F = self.validate(y_pred=y_prediction,y_true=labels_test)
loss = self.loss_fn(y_true=labels_test,y_pred=y_loss)
history_test['Loss'].append(loss.numpy())
history_test['Accuracy'].append(acc)
history_test['Fscore'].append(F)
y_prediction = self.predict(valid_dataset)
y_loss = self.call(valid_dataset).numpy()
acc = self.validate(y_pred=y_prediction,y_true=labels_valid)
loss = self.loss_fn(y_true=labels_valid,y_pred=y_loss)
history_valid['Loss'].append(loss.numpy())
history_valid['Accuracy'].append(acc)
history_valid['Fscore'].append(F)
else:
print('provide dataset')
return history, history_test, history_valid
pass
def validate(self,y_true,y_pred):
re = tf.reshape(y_pred,[-1,1]).numpy()
true = y_true.numpy()
acc = accuracy_score(y_true=true,y_pred=re).sum()
acc = np.mean(acc)
F1 = f1_score(y_true=true,y_pred=re,average="macro")
return acc, F1
def predict(self, x):
"""Predicts x"""
pred = self.call(x,training=False)
return tf.argmax(input=pred, axis=1)
COLUMNS = ['Loss','Accuracy','Fscore','layers','weights','biases','units','optim','lr','batch size','epochs']
history_competition=pd.DataFrame(columns=COLUMNS)
history_competition
| Loss | Accuracy | Fscore | layers | weights | biases | units | optim | lr | batch size | epochs |
|---|
def research(layers,units,init_weights,init_bias,batch,optim,epoch):
history_competition=pd.DataFrame(columns=['Loss','Accuracy','Fscore','layers','weights','biases','units','optim','lr'])
model=MLP()
model.compile(layers=layers,units=units,initializer_weights=init_weights,initializer_bias=init_bias,batch=batch,optim=optim,epoch=epoch)
history, history_test, history_valid = model.fit(dataset=images,labels_train=labels,epochs=epoch,dataset_test=images_test, dataset_valid=images_valid, labels_test=labels_test, labels_valid=labels_valid,batch=batch)
data = pd.DataFrame(history_test).tail(1).reset_index(drop=True)
params = pd.DataFrame([[layers,init_weights._tf_api_names,init_bias._tf_api_names,units,model.optim._name,model.optim._hyper['learning_rate'].numpy(),model.batch_size,model.num_epoch]],columns=['layers','weights','biases','units','optim','lr','batch size','epochs'])
data = pd.concat([data,params],axis=1)
history_competition=history_competition.append(data)
return history_competition
Number of layers:1-5
initilizer of weights: tf.random_uniform_initializer
initilizer of biases: tf.random_uniform_initializer
Units:256
history_competition=history_competition.append(research(1,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:07<03:08, 7.87s/it] 8%|████████████████████▌ | 2/25 [00:14<02:55, 7.63s/it] 12%|██████████████████████████████▊ | 3/25 [00:22<02:44, 7.49s/it] 16%|█████████████████████████████████████████ | 4/25 [00:29<02:34, 7.34s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:35<02:23, 7.18s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:42<02:14, 7.08s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [00:49<02:06, 7.04s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [00:57<02:03, 7.26s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:04<01:56, 7.28s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:11<01:48, 7.22s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:18<01:40, 7.16s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:25<01:32, 7.10s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:33<01:28, 7.35s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [01:42<01:25, 7.73s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [01:49<01:16, 7.66s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [01:57<01:09, 7.72s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:05<01:01, 7.64s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:12<00:52, 7.47s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:19<00:43, 7.31s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [02:25<00:35, 7.13s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [02:32<00:28, 7.01s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [02:39<00:21, 7.03s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:47<00:14, 7.19s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [02:54<00:07, 7.17s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:01<00:00, 7.26s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:07<03:01, 7.56s/it] 8%|████████████████████▌ | 2/25 [00:15<02:53, 7.54s/it] 12%|██████████████████████████████▊ | 3/25 [00:22<02:46, 7.57s/it] 16%|█████████████████████████████████████████ | 4/25 [00:31<02:46, 7.94s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:39<02:38, 7.94s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:46<02:28, 7.81s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [00:54<02:18, 7.70s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:01<02:09, 7.60s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:09<02:00, 7.56s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:16<01:53, 7.58s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:24<01:46, 7.60s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:31<01:38, 7.55s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:39<01:31, 7.59s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [01:47<01:23, 7.62s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [01:54<01:16, 7.62s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:02<01:08, 7.58s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:09<01:00, 7.54s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:17<00:52, 7.53s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:25<00:45, 7.64s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [02:33<00:38, 7.76s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [02:41<00:31, 7.88s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [02:49<00:23, 7.82s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:57<00:15, 7.84s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:04<00:07, 7.86s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:13<00:00, 7.73s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:09<03:43, 9.32s/it] 8%|████████████████████▌ | 2/25 [00:18<03:31, 9.21s/it] 12%|██████████████████████████████▊ | 3/25 [00:27<03:19, 9.09s/it] 16%|█████████████████████████████████████████ | 4/25 [00:35<03:08, 9.00s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:44<02:58, 8.94s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:53<02:49, 8.90s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [01:02<02:38, 8.83s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:10<02:29, 8.81s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:19<02:20, 8.77s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:28<02:13, 8.89s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:38<02:08, 9.15s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:48<02:03, 9.49s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:59<01:57, 9.76s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [02:09<01:47, 9.79s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [02:19<01:39, 9.91s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:29<01:29, 9.97s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:38<01:18, 9.84s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:47<01:06, 9.57s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:56<00:56, 9.35s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [03:05<00:45, 9.18s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [03:14<00:36, 9.19s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [03:23<00:27, 9.13s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [03:32<00:18, 9.07s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:41<00:09, 9.04s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:50<00:00, 9.23s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:11<04:29, 11.23s/it] 8%|████████████████████▌ | 2/25 [00:22<04:17, 11.22s/it] 12%|██████████████████████████████▊ | 3/25 [00:33<04:08, 11.29s/it] 16%|█████████████████████████████████████████ | 4/25 [00:44<03:55, 11.22s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:56<03:44, 11.20s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [01:07<03:31, 11.15s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [01:18<03:19, 11.09s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:29<03:10, 11.21s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:40<02:58, 11.18s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:52<02:49, 11.30s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [02:03<02:38, 11.32s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [02:14<02:25, 11.22s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [02:25<02:14, 11.23s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [02:37<02:03, 11.20s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [02:47<01:51, 11.13s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:58<01:39, 11.08s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [03:10<01:29, 11.17s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [03:22<01:19, 11.39s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [03:35<01:11, 11.87s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [03:46<00:58, 11.65s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [03:56<00:45, 11.33s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [04:07<00:33, 11.15s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [04:19<00:22, 11.25s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [04:30<00:11, 11.31s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [04:43<00:00, 11.33s/it]
Number of layers:1-5
initilizer of weights: tf.random_normal_initializer
initilizer of biases: tf.random_uniform_initializer
Units:256
history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:07<02:58, 7.44s/it] 8%|████████████████████▌ | 2/25 [00:15<02:52, 7.48s/it] 12%|██████████████████████████████▊ | 3/25 [00:22<02:42, 7.40s/it] 16%|█████████████████████████████████████████ | 4/25 [00:29<02:34, 7.36s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:37<02:28, 7.45s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:44<02:22, 7.49s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [00:52<02:16, 7.56s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:00<02:09, 7.62s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:08<02:03, 7.73s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:16<01:56, 7.79s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:23<01:48, 7.78s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:32<01:42, 7.89s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:39<01:34, 7.85s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [01:48<01:28, 8.02s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [01:55<01:19, 7.94s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:03<01:11, 7.93s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:11<01:01, 7.73s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:18<00:54, 7.77s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:27<00:47, 7.91s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [02:34<00:39, 7.82s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [02:42<00:31, 7.78s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [02:49<00:22, 7.61s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:57<00:15, 7.55s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:04<00:07, 7.47s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:11<00:00, 7.67s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:08<03:12, 8.01s/it] 8%|████████████████████▌ | 2/25 [00:16<03:07, 8.14s/it] 12%|██████████████████████████████▊ | 3/25 [00:24<03:00, 8.20s/it] 16%|█████████████████████████████████████████ | 4/25 [00:33<02:55, 8.36s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:42<02:50, 8.53s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:50<02:41, 8.50s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [00:59<02:31, 8.40s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:08<02:28, 8.75s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:17<02:21, 8.86s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:26<02:12, 8.84s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:34<02:00, 8.59s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:42<01:48, 8.38s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:50<01:38, 8.25s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [01:57<01:28, 8.02s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [02:05<01:20, 8.04s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:14<01:12, 8.09s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:22<01:04, 8.10s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:30<00:56, 8.10s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:38<00:48, 8.05s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [02:46<00:39, 7.96s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [02:53<00:31, 7.94s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [03:01<00:23, 7.92s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [03:09<00:15, 7.87s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:17<00:07, 7.81s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:24<00:00, 8.19s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:09<03:37, 9.08s/it] 8%|████████████████████▌ | 2/25 [00:18<03:27, 9.04s/it] 12%|██████████████████████████████▊ | 3/25 [00:26<03:17, 8.98s/it] 16%|█████████████████████████████████████████ | 4/25 [00:35<03:08, 8.99s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:44<03:00, 9.02s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:53<02:51, 9.02s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [01:02<02:41, 8.98s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:11<02:32, 8.97s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:20<02:23, 8.97s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:29<02:14, 8.98s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:38<02:06, 9.00s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:47<01:56, 8.97s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:57<01:49, 9.11s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [02:05<01:38, 8.93s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [02:15<01:30, 9.04s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:24<01:22, 9.13s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:33<01:13, 9.17s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:42<01:03, 9.14s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:52<00:55, 9.25s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [03:01<00:46, 9.27s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [03:10<00:36, 9.17s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [03:19<00:27, 9.19s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [03:28<00:18, 9.20s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:38<00:09, 9.19s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:46<00:00, 9.07s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:11<04:26, 11.10s/it] 8%|████████████████████▌ | 2/25 [00:22<04:17, 11.20s/it] 12%|██████████████████████████████▊ | 3/25 [00:33<04:06, 11.20s/it] 16%|█████████████████████████████████████████ | 4/25 [00:45<03:59, 11.40s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:57<03:53, 11.68s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [01:09<03:43, 11.74s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [01:25<03:54, 13.05s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:39<03:44, 13.18s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:53<03:34, 13.42s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [02:06<03:20, 13.40s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [02:21<03:11, 13.66s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [02:33<02:52, 13.25s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [02:45<02:35, 12.92s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [02:56<02:15, 12.35s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [03:07<02:00, 12.04s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [03:19<01:47, 11.92s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [03:30<01:33, 11.73s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [03:42<01:21, 11.68s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [03:54<01:10, 11.77s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [04:05<00:57, 11.49s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [04:16<00:45, 11.40s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [04:27<00:33, 11.24s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [04:38<00:22, 11.25s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [04:49<00:11, 11.15s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:00<00:00, 12.04s/it]
Number of layers:1-5
initilizer of weights: tf.random_normal_initializer
initilizer of biases: tf.random_normal_initializer
Units:256
history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:07<02:48, 7.04s/it] 8%|████████████████████▌ | 2/25 [00:13<02:41, 7.01s/it] 12%|██████████████████████████████▊ | 3/25 [00:21<02:34, 7.04s/it] 16%|█████████████████████████████████████████ | 4/25 [00:28<02:29, 7.10s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:35<02:24, 7.25s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:43<02:17, 7.24s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [00:50<02:10, 7.22s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [00:57<02:02, 7.20s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:04<01:55, 7.22s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:11<01:48, 7.20s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:19<01:42, 7.30s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:27<01:36, 7.46s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:34<01:28, 7.36s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [01:41<01:20, 7.29s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [01:48<01:12, 7.23s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [01:55<01:04, 7.21s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:03<00:58, 7.26s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:10<00:50, 7.18s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:17<00:42, 7.13s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [02:24<00:35, 7.12s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [02:31<00:28, 7.04s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [02:38<00:21, 7.04s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:45<00:14, 7.09s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [02:52<00:07, 7.14s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:59<00:00, 7.18s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:07<03:00, 7.52s/it] 8%|████████████████████▌ | 2/25 [00:15<02:54, 7.58s/it] 12%|██████████████████████████████▊ | 3/25 [00:22<02:46, 7.59s/it] 16%|█████████████████████████████████████████ | 4/25 [00:30<02:39, 7.57s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:37<02:30, 7.52s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:46<02:27, 7.76s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [00:54<02:20, 7.80s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:01<02:13, 7.86s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:09<02:03, 7.69s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:17<01:58, 7.92s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:25<01:50, 7.87s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:33<01:41, 7.84s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:40<01:33, 7.79s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [01:48<01:25, 7.81s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [01:56<01:17, 7.76s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:04<01:09, 7.71s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:11<01:01, 7.65s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:19<00:54, 7.72s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:27<00:46, 7.68s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [02:35<00:38, 7.79s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [02:42<00:31, 7.80s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [02:50<00:23, 7.75s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:58<00:15, 7.70s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:05<00:07, 7.64s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:13<00:00, 7.73s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:09<03:41, 9.22s/it] 8%|████████████████████▌ | 2/25 [00:18<03:31, 9.18s/it] 12%|██████████████████████████████▊ | 3/25 [00:27<03:23, 9.25s/it] 16%|█████████████████████████████████████████ | 4/25 [00:37<03:15, 9.30s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:48<03:15, 9.77s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:57<03:06, 9.81s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [01:07<02:57, 9.85s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:16<02:41, 9.50s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:25<02:27, 9.22s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:33<02:14, 9.00s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:42<02:05, 8.96s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:51<01:56, 9.00s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [02:01<01:50, 9.25s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [02:11<01:43, 9.39s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [02:20<01:33, 9.39s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:29<01:24, 9.40s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:39<01:14, 9.32s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:48<01:05, 9.29s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:57<00:55, 9.29s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [03:07<00:46, 9.34s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [03:16<00:38, 9.52s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [03:27<00:29, 9.68s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [03:36<00:19, 9.67s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:46<00:09, 9.72s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:56<00:00, 9.47s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:12<04:58, 12.42s/it] 8%|████████████████████▌ | 2/25 [00:24<04:44, 12.36s/it] 12%|██████████████████████████████▊ | 3/25 [00:36<04:31, 12.32s/it] 16%|█████████████████████████████████████████ | 4/25 [00:49<04:19, 12.36s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [01:01<04:06, 12.33s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [01:14<03:56, 12.46s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [01:26<03:41, 12.29s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:38<03:28, 12.24s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:50<03:15, 12.25s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [02:02<03:03, 12.26s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [02:15<02:51, 12.24s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [02:27<02:39, 12.25s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [02:40<02:30, 12.57s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [02:52<02:16, 12.43s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [03:04<02:02, 12.29s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [03:16<01:50, 12.26s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [03:29<01:39, 12.41s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [03:42<01:27, 12.45s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [03:54<01:15, 12.51s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [04:07<01:02, 12.41s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [04:19<00:49, 12.47s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [04:31<00:37, 12.35s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [04:43<00:24, 12.27s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [04:55<00:12, 12.22s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:11<00:00, 12.44s/it]
Number of layers:1-5
initilizer of weights: tf.random_uniform_initializer
initilizer of biases: tf.random_normal_initializer
Units:256
history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:08<03:13, 8.08s/it] 8%|████████████████████▌ | 2/25 [00:15<03:02, 7.92s/it] 12%|██████████████████████████████▊ | 3/25 [00:23<02:53, 7.87s/it] 16%|█████████████████████████████████████████ | 4/25 [00:30<02:41, 7.68s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:37<02:30, 7.50s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:45<02:21, 7.45s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [00:52<02:13, 7.43s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [00:59<02:05, 7.36s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:07<02:00, 7.51s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:14<01:52, 7.51s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:22<01:43, 7.43s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:29<01:35, 7.35s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:36<01:28, 7.34s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [01:43<01:20, 7.30s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [01:51<01:13, 7.35s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [01:58<01:06, 7.41s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:06<00:59, 7.38s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:13<00:51, 7.41s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:21<00:44, 7.41s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [02:28<00:36, 7.38s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [02:35<00:29, 7.41s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [02:43<00:22, 7.40s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:50<00:14, 7.39s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [02:58<00:07, 7.38s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:05<00:00, 7.41s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:07<03:05, 7.72s/it] 8%|████████████████████▌ | 2/25 [00:15<02:58, 7.77s/it] 12%|██████████████████████████████▊ | 3/25 [00:23<02:51, 7.79s/it] 16%|█████████████████████████████████████████ | 4/25 [00:31<02:45, 7.89s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:39<02:38, 7.92s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:47<02:29, 7.89s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [00:55<02:22, 7.92s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:03<02:14, 7.93s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:11<02:07, 7.95s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:20<02:02, 8.18s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:28<01:54, 8.16s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:36<01:46, 8.18s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [01:43<01:35, 7.99s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [01:51<01:26, 7.89s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [01:59<01:17, 7.80s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:06<01:09, 7.76s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:14<01:02, 7.77s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:22<00:54, 7.80s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:30<00:46, 7.72s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [02:37<00:38, 7.79s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [02:45<00:31, 7.81s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [02:53<00:23, 7.78s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [03:01<00:15, 7.84s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:09<00:07, 7.81s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:17<00:00, 7.89s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:09<03:39, 9.16s/it] 8%|████████████████████▌ | 2/25 [00:18<03:31, 9.19s/it] 12%|██████████████████████████████▊ | 3/25 [00:27<03:23, 9.24s/it] 16%|█████████████████████████████████████████ | 4/25 [00:37<03:14, 9.25s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:46<03:08, 9.42s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [00:56<02:57, 9.36s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [01:05<02:47, 9.33s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:14<02:37, 9.27s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:23<02:27, 9.24s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:32<02:18, 9.24s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [01:42<02:10, 9.35s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [01:51<02:01, 9.31s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [02:00<01:50, 9.22s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [02:09<01:40, 9.16s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [02:19<01:34, 9.46s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [02:29<01:24, 9.40s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [02:38<01:14, 9.31s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [02:47<01:05, 9.40s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [02:57<00:56, 9.35s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [03:06<00:46, 9.38s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [03:15<00:37, 9.29s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [03:24<00:27, 9.31s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [03:34<00:18, 9.50s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:44<00:09, 9.41s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:53<00:00, 9.33s/it] 0%| | 0/25 [00:00<?, ?it/s] 4%|██████████▎ | 1/25 [00:11<04:34, 11.46s/it] 8%|████████████████████▌ | 2/25 [00:22<04:21, 11.38s/it] 12%|██████████████████████████████▊ | 3/25 [00:34<04:11, 11.42s/it] 16%|█████████████████████████████████████████ | 4/25 [00:46<04:03, 11.59s/it] 20%|███████████████████████████████████████████████████▍ | 5/25 [00:58<03:55, 11.77s/it] 24%|█████████████████████████████████████████████████████████████▋ | 6/25 [01:10<03:45, 11.86s/it] 28%|███████████████████████████████████████████████████████████████████████▉ | 7/25 [01:21<03:29, 11.66s/it] 32%|██████████████████████████████████████████████████████████████████████████████████▏ | 8/25 [01:33<03:19, 11.72s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 9/25 [01:45<03:09, 11.84s/it] 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 10/25 [01:57<02:56, 11.75s/it] 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 11/25 [02:08<02:43, 11.66s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 12/25 [02:20<02:31, 11.69s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 13/25 [02:32<02:22, 11.85s/it] 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 14/25 [02:44<02:09, 11.79s/it] 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 15/25 [02:56<01:58, 11.89s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 16/25 [03:08<01:46, 11.89s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 17/25 [03:20<01:35, 11.89s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/25 [03:31<01:23, 11.87s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 19/25 [03:43<01:11, 11.85s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 20/25 [03:55<00:58, 11.79s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 21/25 [04:06<00:46, 11.66s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 22/25 [04:18<00:34, 11.61s/it] 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [04:30<00:23, 11.81s/it] 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [04:42<00:11, 11.82s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [04:54<00:00, 11.77s/it]
history_competition.to_csv("MLP_PARAMS_1.csv",index=False)
history_competition=pd.read_csv("MLP_PARAMS_1.csv")
history_competition.sort_values(by=['Fscore'],ascending=False)
| Loss | Accuracy | Fscore | layers | weights | biases | units | |
|---|---|---|---|---|---|---|---|
| 9 | 2.493940 | 0.258935 | 0.247341 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 |
| 5 | 2.441079 | 0.248820 | 0.244889 | 2 | ('random_normal_initializer',) | ('random_uniform_initializer',) | 256 |
| 13 | 2.427198 | 0.252529 | 0.237064 | 2 | ('random_normal_initializer',) | ('random_uniform_initializer',) | 256 |
| 1 | 2.447052 | 0.269049 | 0.233423 | 2 | ('random_uniform_initializer',) | ('random_uniform_initializer',) | 256 |
| 6 | 2.504672 | 0.256575 | 0.224740 | 5 | ('random_normal_initializer',) | ('random_uniform_initializer',) | 256 |
| 4 | 2.449885 | 0.222522 | 0.209362 | 1 | ('random_normal_initializer',) | ('random_uniform_initializer',) | 256 |
| 0 | 2.449420 | 0.244100 | 0.201127 | 1 | ('random_uniform_initializer',) | ('random_uniform_initializer',) | 256 |
| 14 | 2.442891 | 0.241065 | 0.195643 | 5 | ('random_normal_initializer',) | ('random_uniform_initializer',) | 256 |
| 2 | 2.475966 | 0.248820 | 0.194454 | 5 | ('random_uniform_initializer',) | ('random_uniform_initializer',) | 256 |
| 10 | 2.495870 | 0.236008 | 0.192777 | 5 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 |
| 12 | 2.476855 | 0.212070 | 0.172576 | 1 | ('random_normal_initializer',) | ('random_uniform_initializer',) | 256 |
| 8 | 2.385365 | 0.226568 | 0.152916 | 1 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 |
| 7 | 2.418595 | 0.237357 | 0.138650 | 10 | ('random_normal_initializer',) | ('random_uniform_initializer',) | 256 |
| 15 | 2.465148 | 0.214767 | 0.109016 | 10 | ('random_normal_initializer',) | ('random_uniform_initializer',) | 256 |
| 11 | 2.442924 | 0.212070 | 0.096342 | 10 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 |
| 3 | 2.476034 | 0.178355 | 0.038114 | 10 | ('random_uniform_initializer',) | ('random_uniform_initializer',) | 256 |
history_competition=pd.DataFrame(columns=COLUMNS)
history_competition
| Loss | Accuracy | Fscore | layers | weights | biases | units | optim | lr | batch size | epochs |
|---|
EPOCH = [25,50,100]
BATCHES = [ 100, 200, 400]
LR = [0.001,0.01,0.005]
for epoch in EPOCH:
for batch in BATCHES:
for lr in LR:
print('NEW LOOP')
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.Nadam(learning_rate=lr),epoch=epoch))
print('NADAM',epoch,batch,lr,'DONE')
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.Adam(learning_rate=lr),epoch=epoch))
print('ADAM',epoch,batch,lr,'DONE')
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.SGD(learning_rate=lr),epoch=epoch))
print('SGD',epoch,batch,lr,'DONE')
history_competition.to_csv("MLP_PARAMS_2.csv",index=False)
0%| | 0/25 [00:00<?, ?it/s]
NEW LOOP
4%|███████████▏ | 1/25 [00:12<04:52, 12.20s/it] 8%|██████████████████████▍ | 2/25 [00:25<04:48, 12.56s/it] 12%|█████████████████████████████████▋ | 3/25 [00:38<04:38, 12.68s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:51<04:28, 12.77s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [01:04<04:16, 12.81s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [01:17<04:04, 12.87s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [01:30<03:52, 12.89s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [01:43<03:39, 12.91s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [01:56<03:26, 12.91s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [02:09<03:13, 12.91s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [02:22<03:00, 12.91s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [02:35<02:48, 12.96s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [02:48<02:35, 12.96s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [03:01<02:22, 12.97s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [03:13<02:09, 12.92s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [03:26<01:56, 12.93s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [03:39<01:43, 12.98s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [03:52<01:30, 12.96s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [04:05<01:17, 12.94s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [04:18<01:04, 12.93s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [04:31<00:51, 12.87s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [04:44<00:38, 12.92s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [04:57<00:25, 12.96s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [05:10<00:12, 12.92s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:23<00:00, 12.92s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 100 0.001 DONE
4%|███████████▏ | 1/25 [00:05<02:00, 5.04s/it] 8%|██████████████████████▍ | 2/25 [00:10<01:55, 5.04s/it] 12%|█████████████████████████████████▋ | 3/25 [00:15<01:51, 5.09s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:20<01:47, 5.10s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:25<01:41, 5.06s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:30<01:36, 5.09s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:35<01:31, 5.09s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:40<01:26, 5.11s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:45<01:21, 5.07s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:50<01:16, 5.08s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:55<01:10, 5.05s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [01:00<01:05, 5.06s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:05<01:00, 5.04s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:10<00:55, 5.04s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:16<00:50, 5.07s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:21<00:45, 5.05s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:26<00:40, 5.08s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:31<00:36, 5.17s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:36<00:31, 5.22s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:42<00:25, 5.19s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:47<00:20, 5.24s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:52<00:15, 5.25s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:57<00:10, 5.20s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [02:02<00:05, 5.14s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:07<00:00, 5.11s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 100 0.001 DONE
4%|███████████▏ | 1/25 [00:04<01:44, 4.36s/it] 8%|██████████████████████▍ | 2/25 [00:08<01:39, 4.33s/it] 12%|█████████████████████████████████▋ | 3/25 [00:12<01:34, 4.32s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:17<01:30, 4.31s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:21<01:26, 4.31s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:25<01:22, 4.33s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:30<01:18, 4.36s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:34<01:14, 4.35s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:39<01:10, 4.39s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:43<01:05, 4.39s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:47<01:01, 4.36s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:52<00:56, 4.35s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:56<00:52, 4.34s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:00<00:47, 4.36s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:05<00:43, 4.33s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:09<00:39, 4.35s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:13<00:34, 4.37s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:18<00:30, 4.37s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:22<00:26, 4.41s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:27<00:21, 4.38s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:31<00:17, 4.41s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:35<00:13, 4.38s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:40<00:08, 4.40s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:44<00:04, 4.38s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:49<00:00, 4.36s/it] 0%| | 0/25 [00:00<?, ?it/s]
SGD 25 100 0.001 DONE NEW LOOP
4%|███████████▏ | 1/25 [00:12<05:10, 12.94s/it] 8%|██████████████████████▍ | 2/25 [00:26<04:58, 12.99s/it] 12%|█████████████████████████████████▋ | 3/25 [00:39<04:45, 13.00s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:51<04:31, 12.92s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [01:04<04:18, 12.91s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [01:17<04:05, 12.92s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [01:30<03:52, 12.93s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [01:43<03:38, 12.87s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [01:56<03:25, 12.85s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [02:08<03:12, 12.81s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [02:21<02:59, 12.79s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [02:34<02:45, 12.73s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [02:47<02:33, 12.82s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [02:59<02:20, 12.78s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [03:12<02:07, 12.75s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [03:25<01:54, 12.74s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [03:38<01:42, 12.76s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [03:50<01:29, 12.78s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [04:03<01:16, 12.75s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [04:16<01:04, 12.83s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [04:29<00:51, 12.82s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [04:42<00:38, 12.78s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [04:54<00:25, 12.71s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [05:07<00:12, 12.72s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:19<00:00, 12.80s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 100 0.01 DONE
4%|███████████▏ | 1/25 [00:05<02:03, 5.15s/it] 8%|██████████████████████▍ | 2/25 [00:10<01:58, 5.15s/it] 12%|█████████████████████████████████▋ | 3/25 [00:15<01:52, 5.12s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:20<01:48, 5.17s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:25<01:42, 5.13s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:30<01:37, 5.12s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:35<01:31, 5.08s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:40<01:26, 5.07s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:45<01:20, 5.05s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:51<01:17, 5.20s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:56<01:12, 5.16s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [01:01<01:06, 5.12s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:06<01:01, 5.16s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:11<00:55, 5.09s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:16<00:50, 5.07s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:21<00:45, 5.07s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:26<00:40, 5.05s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:31<00:35, 5.04s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:36<00:30, 5.07s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:41<00:25, 5.03s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:46<00:20, 5.03s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:51<00:15, 5.07s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:57<00:10, 5.07s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [02:02<00:05, 5.04s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:07<00:00, 5.09s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 100 0.01 DONE
4%|███████████▏ | 1/25 [00:04<01:45, 4.39s/it] 8%|██████████████████████▍ | 2/25 [00:08<01:41, 4.40s/it] 12%|█████████████████████████████████▋ | 3/25 [00:13<01:37, 4.43s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:17<01:32, 4.40s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:21<01:27, 4.39s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:26<01:23, 4.38s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:30<01:18, 4.37s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:35<01:14, 4.37s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:39<01:09, 4.35s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:43<01:05, 4.37s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:48<01:01, 4.36s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:52<00:56, 4.36s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:56<00:52, 4.39s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:01<00:48, 4.38s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:05<00:44, 4.41s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:10<00:39, 4.38s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:14<00:34, 4.37s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:18<00:30, 4.35s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:23<00:26, 4.33s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:27<00:21, 4.35s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:31<00:17, 4.37s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:36<00:13, 4.37s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:40<00:08, 4.42s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:45<00:04, 4.41s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:49<00:00, 4.40s/it] 0%| | 0/25 [00:00<?, ?it/s]
SGD 25 100 0.01 DONE NEW LOOP
4%|███████████▏ | 1/25 [00:13<05:17, 13.21s/it] 8%|██████████████████████▍ | 2/25 [00:26<05:02, 13.16s/it] 12%|█████████████████████████████████▋ | 3/25 [00:38<04:46, 13.02s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:51<04:30, 12.89s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [01:04<04:16, 12.82s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [01:16<04:03, 12.81s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [01:29<03:50, 12.81s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [01:42<03:39, 12.90s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [01:55<03:26, 12.92s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [02:08<03:13, 12.90s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [02:21<02:59, 12.85s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [02:34<02:46, 12.83s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [02:46<02:33, 12.78s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [02:59<02:20, 12.78s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [03:12<02:08, 12.81s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [03:25<01:54, 12.76s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [03:37<01:41, 12.70s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [03:50<01:28, 12.67s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [04:02<01:15, 12.63s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [04:15<01:03, 12.64s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [04:28<00:50, 12.60s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [04:40<00:37, 12.66s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [04:53<00:25, 12.71s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [05:07<00:13, 13.09s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:23<00:00, 12.95s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 100 0.005 DONE
4%|███████████▏ | 1/25 [00:05<02:11, 5.46s/it] 8%|██████████████████████▍ | 2/25 [00:10<02:04, 5.39s/it] 12%|█████████████████████████████████▋ | 3/25 [00:16<02:01, 5.50s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:22<01:58, 5.63s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:27<01:50, 5.53s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:34<01:51, 5.89s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:41<01:51, 6.21s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:46<01:40, 5.89s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:51<01:30, 5.65s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:56<01:21, 5.46s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [01:01<01:14, 5.36s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [01:06<01:08, 5.25s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:11<01:02, 5.18s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:16<00:56, 5.10s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:21<00:50, 5.08s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:27<00:46, 5.15s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:32<00:41, 5.14s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:37<00:35, 5.12s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:42<00:30, 5.09s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:47<00:25, 5.06s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:52<00:20, 5.04s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:57<00:15, 5.01s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:02<00:09, 5.00s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [02:07<00:05, 5.00s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:12<00:00, 5.28s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 100 0.005 DONE
4%|███████████▏ | 1/25 [00:04<01:44, 4.35s/it] 8%|██████████████████████▍ | 2/25 [00:08<01:39, 4.34s/it] 12%|█████████████████████████████████▋ | 3/25 [00:13<01:35, 4.34s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:17<01:31, 4.35s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:21<01:26, 4.33s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:25<01:22, 4.32s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:30<01:18, 4.35s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:34<01:13, 4.34s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:39<01:09, 4.35s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:43<01:04, 4.33s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:47<01:00, 4.34s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:52<00:56, 4.37s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:56<00:52, 4.41s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:00<00:48, 4.39s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:05<00:43, 4.37s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:09<00:39, 4.36s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:13<00:34, 4.34s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:18<00:30, 4.34s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:22<00:25, 4.33s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:26<00:21, 4.34s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:31<00:17, 4.32s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:35<00:12, 4.31s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:39<00:08, 4.31s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:44<00:04, 4.32s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:48<00:00, 4.34s/it] 0%| | 0/25 [00:00<?, ?it/s]
SGD 25 100 0.005 DONE NEW LOOP
4%|███████████▏ | 1/25 [00:07<02:56, 7.35s/it] 8%|██████████████████████▍ | 2/25 [00:14<02:49, 7.35s/it] 12%|█████████████████████████████████▋ | 3/25 [00:22<02:43, 7.43s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:29<02:35, 7.40s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:36<02:27, 7.36s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:44<02:23, 7.54s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:52<02:17, 7.61s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [01:00<02:08, 7.57s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [01:07<02:01, 7.59s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [01:15<01:52, 7.53s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [01:22<01:45, 7.52s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [01:30<01:38, 7.55s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:37<01:30, 7.54s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:45<01:21, 7.45s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:55<01:24, 8.44s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [02:06<01:22, 9.11s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [02:14<01:09, 8.69s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [02:23<01:01, 8.75s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [02:30<00:50, 8.37s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [02:37<00:40, 8.08s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [02:45<00:31, 7.91s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [02:52<00:23, 7.76s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [03:00<00:15, 7.72s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:07<00:07, 7.64s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:16<00:00, 7.85s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 200 0.001 DONE
4%|███████████▏ | 1/25 [00:03<01:30, 3.79s/it] 8%|██████████████████████▍ | 2/25 [00:07<01:24, 3.69s/it] 12%|█████████████████████████████████▋ | 3/25 [00:10<01:21, 3.69s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:14<01:15, 3.61s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:17<01:11, 3.56s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:21<01:07, 3.57s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:25<01:04, 3.61s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:28<01:00, 3.55s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:31<00:56, 3.51s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:35<00:51, 3.45s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:38<00:47, 3.42s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:41<00:44, 3.41s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:45<00:40, 3.40s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:48<00:37, 3.39s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:52<00:33, 3.40s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:55<00:30, 3.38s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:58<00:26, 3.37s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:02<00:23, 3.38s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:05<00:20, 3.37s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:08<00:16, 3.36s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:12<00:13, 3.37s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:15<00:10, 3.37s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:19<00:06, 3.37s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:22<00:03, 3.36s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:25<00:00, 3.43s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 200 0.001 DONE
4%|███████████▏ | 1/25 [00:03<01:13, 3.06s/it] 8%|██████████████████████▍ | 2/25 [00:06<01:09, 3.04s/it] 12%|█████████████████████████████████▋ | 3/25 [00:09<01:12, 3.27s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:13<01:09, 3.32s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:16<01:05, 3.29s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:19<01:01, 3.24s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:22<00:57, 3.19s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:25<00:53, 3.14s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:28<00:49, 3.11s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:31<00:46, 3.11s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:34<00:42, 3.07s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:37<00:39, 3.05s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:40<00:36, 3.05s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:43<00:33, 3.03s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:46<00:30, 3.03s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:49<00:27, 3.02s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:52<00:24, 3.02s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [00:56<00:21, 3.04s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [00:59<00:18, 3.04s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:02<00:15, 3.03s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:05<00:12, 3.04s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:08<00:09, 3.03s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:11<00:06, 3.03s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:14<00:03, 3.02s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:17<00:00, 3.09s/it] 0%| | 0/25 [00:00<?, ?it/s]
SGD 25 200 0.001 DONE NEW LOOP
4%|███████████▏ | 1/25 [00:07<02:53, 7.24s/it] 8%|██████████████████████▍ | 2/25 [00:14<02:46, 7.24s/it] 12%|█████████████████████████████████▋ | 3/25 [00:21<02:40, 7.31s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:28<02:31, 7.22s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:35<02:22, 7.13s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:42<02:14, 7.06s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:50<02:07, 7.11s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:57<02:01, 7.15s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [01:04<01:54, 7.17s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [01:11<01:47, 7.19s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [01:18<01:40, 7.21s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [01:26<01:34, 7.24s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:34<01:29, 7.45s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:42<01:23, 7.58s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:49<01:16, 7.60s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:57<01:08, 7.56s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [02:04<00:59, 7.48s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [02:11<00:51, 7.41s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [02:19<00:45, 7.53s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [02:26<00:37, 7.48s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [02:34<00:29, 7.41s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [02:41<00:22, 7.36s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:48<00:14, 7.34s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [02:55<00:07, 7.29s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:03<00:00, 7.32s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 200 0.01 DONE
4%|███████████▏ | 1/25 [00:03<01:20, 3.35s/it] 8%|██████████████████████▍ | 2/25 [00:06<01:17, 3.35s/it] 12%|█████████████████████████████████▋ | 3/25 [00:10<01:13, 3.36s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:13<01:10, 3.35s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:16<01:07, 3.37s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:20<01:03, 3.36s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:23<01:00, 3.35s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:26<00:57, 3.36s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:30<00:53, 3.37s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:33<00:50, 3.35s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:36<00:46, 3.35s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:40<00:43, 3.35s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:43<00:40, 3.35s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:46<00:36, 3.33s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:50<00:33, 3.34s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:53<00:29, 3.33s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:56<00:26, 3.33s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:00<00:23, 3.35s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:03<00:20, 3.34s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:06<00:16, 3.34s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:10<00:13, 3.33s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:13<00:10, 3.34s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:16<00:06, 3.34s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:20<00:03, 3.35s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:23<00:00, 3.35s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 200 0.01 DONE
4%|███████████▏ | 1/25 [00:03<01:12, 3.02s/it] 8%|██████████████████████▍ | 2/25 [00:06<01:09, 3.03s/it] 12%|█████████████████████████████████▋ | 3/25 [00:09<01:06, 3.04s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:12<01:03, 3.03s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:15<01:00, 3.04s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:18<00:57, 3.04s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:21<00:55, 3.10s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:25<00:56, 3.34s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:29<00:57, 3.62s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:33<00:55, 3.70s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:36<00:50, 3.62s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:40<00:45, 3.52s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:43<00:41, 3.44s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:46<00:36, 3.33s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:49<00:32, 3.22s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:52<00:28, 3.14s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:55<00:24, 3.10s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [00:58<00:21, 3.06s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:01<00:18, 3.02s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:04<00:14, 3.00s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:07<00:11, 2.99s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:10<00:08, 2.99s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:13<00:05, 2.98s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:16<00:02, 2.97s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:19<00:00, 3.17s/it] 0%| | 0/25 [00:00<?, ?it/s]
SGD 25 200 0.01 DONE NEW LOOP
4%|███████████▏ | 1/25 [00:08<03:20, 8.36s/it] 8%|██████████████████████▍ | 2/25 [00:17<03:16, 8.54s/it] 12%|█████████████████████████████████▋ | 3/25 [00:25<03:03, 8.35s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:33<02:52, 8.22s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:40<02:39, 7.98s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:47<02:27, 7.77s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:56<02:22, 7.91s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [01:04<02:18, 8.15s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [01:12<02:08, 8.04s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [01:20<01:58, 7.88s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [01:27<01:48, 7.73s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [01:35<01:40, 7.73s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:43<01:34, 7.88s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:50<01:25, 7.79s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:58<01:16, 7.68s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [02:06<01:09, 7.73s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [02:14<01:03, 7.92s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [02:22<00:54, 7.81s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [02:29<00:46, 7.75s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [02:37<00:39, 7.82s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [02:45<00:30, 7.74s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [02:53<00:23, 7.93s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [03:01<00:15, 7.76s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [03:08<00:07, 7.59s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:15<00:00, 7.82s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 200 0.005 DONE
4%|███████████▏ | 1/25 [00:03<01:22, 3.45s/it] 8%|██████████████████████▍ | 2/25 [00:06<01:18, 3.41s/it] 12%|█████████████████████████████████▋ | 3/25 [00:10<01:14, 3.39s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:13<01:11, 3.39s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:16<01:07, 3.37s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:20<01:03, 3.36s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:23<01:00, 3.39s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:26<00:57, 3.38s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:30<00:53, 3.37s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:33<00:50, 3.35s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:37<00:47, 3.40s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:40<00:44, 3.39s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:43<00:40, 3.37s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:47<00:37, 3.40s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:50<00:33, 3.39s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:54<00:30, 3.37s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:57<00:27, 3.39s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:00<00:23, 3.39s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:04<00:20, 3.37s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:07<00:17, 3.43s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:11<00:14, 3.62s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:15<00:10, 3.52s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:18<00:06, 3.45s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:21<00:03, 3.39s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:24<00:00, 3.40s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 200 0.005 DONE
4%|███████████▏ | 1/25 [00:02<01:11, 2.97s/it] 8%|██████████████████████▍ | 2/25 [00:05<01:08, 2.96s/it] 12%|█████████████████████████████████▋ | 3/25 [00:08<01:04, 2.94s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:11<01:01, 2.93s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:14<00:59, 2.95s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:18<00:59, 3.16s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:22<01:02, 3.49s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:26<01:01, 3.59s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:29<00:55, 3.46s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:32<00:49, 3.31s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:35<00:44, 3.20s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:38<00:40, 3.12s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:41<00:36, 3.05s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:44<00:33, 3.01s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:48<00:32, 3.26s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:52<00:32, 3.60s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:56<00:30, 3.85s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:01<00:28, 4.03s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:05<00:24, 4.15s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:09<00:20, 4.03s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:13<00:16, 4.16s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:18<00:12, 4.22s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:22<00:08, 4.26s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:27<00:04, 4.31s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:31<00:00, 3.66s/it] 0%| | 0/25 [00:00<?, ?it/s]
SGD 25 200 0.005 DONE NEW LOOP
4%|███████████▏ | 1/25 [00:05<02:21, 5.88s/it] 8%|██████████████████████▍ | 2/25 [00:11<02:11, 5.72s/it] 12%|█████████████████████████████████▋ | 3/25 [00:18<02:17, 6.25s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:26<02:17, 6.57s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:31<02:02, 6.13s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:35<01:48, 5.69s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:42<01:50, 6.11s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:50<01:49, 6.45s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:57<01:47, 6.70s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [01:04<01:43, 6.92s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [01:12<01:38, 7.01s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [01:18<01:30, 6.94s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:23<01:15, 6.27s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:29<01:08, 6.25s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:36<01:04, 6.47s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:43<00:58, 6.51s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:50<00:53, 6.73s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:57<00:48, 6.87s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [02:04<00:40, 6.74s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [02:11<00:34, 6.85s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [02:17<00:26, 6.64s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [02:22<00:18, 6.21s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [02:28<00:12, 6.21s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [02:34<00:05, 5.92s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:38<00:00, 6.35s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 400 0.001 DONE
4%|███████████▏ | 1/25 [00:02<01:07, 2.79s/it] 8%|██████████████████████▍ | 2/25 [00:05<01:04, 2.79s/it] 12%|█████████████████████████████████▋ | 3/25 [00:09<01:08, 3.14s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:13<01:10, 3.36s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:17<01:11, 3.58s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:21<01:08, 3.63s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:25<01:06, 3.69s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:29<01:05, 3.86s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:33<01:00, 3.81s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:36<00:53, 3.57s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:38<00:46, 3.34s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:41<00:41, 3.19s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:45<00:39, 3.30s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:48<00:36, 3.33s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:52<00:34, 3.46s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:56<00:31, 3.55s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:59<00:27, 3.43s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:02<00:22, 3.23s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:05<00:19, 3.33s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:09<00:17, 3.45s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:13<00:14, 3.53s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:16<00:10, 3.56s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:20<00:07, 3.61s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:24<00:03, 3.67s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:27<00:00, 3.51s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 400 0.001 DONE
4%|███████████▏ | 1/25 [00:03<01:19, 3.30s/it] 8%|██████████████████████▍ | 2/25 [00:06<01:16, 3.34s/it] 12%|█████████████████████████████████▋ | 3/25 [00:10<01:15, 3.42s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:13<01:12, 3.44s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:17<01:09, 3.47s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:20<01:05, 3.45s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:24<01:02, 3.45s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:27<00:57, 3.36s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:30<00:50, 3.15s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:32<00:45, 3.02s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:35<00:41, 2.98s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:38<00:38, 2.94s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:41<00:34, 2.85s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:43<00:30, 2.77s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:46<00:27, 2.73s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:48<00:24, 2.68s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:51<00:21, 2.70s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [00:54<00:18, 2.70s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [00:57<00:16, 2.75s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [00:59<00:13, 2.72s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:02<00:11, 2.75s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:06<00:09, 3.04s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:10<00:06, 3.41s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:14<00:03, 3.53s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:17<00:00, 3.11s/it] 0%| | 0/25 [00:00<?, ?it/s]
SGD 25 400 0.001 DONE NEW LOOP
4%|███████████▏ | 1/25 [00:04<01:57, 4.90s/it] 8%|██████████████████████▍ | 2/25 [00:09<01:52, 4.91s/it] 12%|█████████████████████████████████▋ | 3/25 [00:14<01:47, 4.87s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:19<01:41, 4.85s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:24<01:35, 4.79s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:28<01:30, 4.75s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:33<01:24, 4.72s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:38<01:19, 4.70s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:42<01:14, 4.67s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:47<01:09, 4.66s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:51<01:05, 4.65s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:56<01:00, 4.64s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:01<00:55, 4.64s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:05<00:50, 4.64s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:10<00:46, 4.62s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:14<00:41, 4.62s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:19<00:36, 4.62s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:24<00:32, 4.63s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:28<00:27, 4.61s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:33<00:23, 4.62s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:38<00:18, 4.61s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:42<00:13, 4.61s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:47<00:09, 4.61s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:51<00:04, 4.60s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:56<00:00, 4.66s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 400 0.01 DONE
4%|███████████▏ | 1/25 [00:02<01:06, 2.76s/it] 8%|██████████████████████▍ | 2/25 [00:05<01:03, 2.76s/it] 12%|█████████████████████████████████▋ | 3/25 [00:08<01:00, 2.76s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:10<00:57, 2.75s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:13<00:54, 2.74s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:16<00:51, 2.73s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:19<00:49, 2.75s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:21<00:46, 2.75s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:24<00:43, 2.75s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:27<00:41, 2.76s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:30<00:38, 2.75s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:32<00:35, 2.74s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:35<00:32, 2.73s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:38<00:30, 2.74s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:41<00:27, 2.75s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:43<00:24, 2.75s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:46<00:21, 2.74s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [00:49<00:19, 2.75s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [00:52<00:16, 2.76s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [00:54<00:13, 2.76s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [00:57<00:10, 2.75s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:00<00:08, 2.74s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:03<00:05, 2.75s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:05<00:02, 2.74s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:08<00:00, 2.75s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 400 0.01 DONE
4%|███████████▏ | 1/25 [00:02<01:02, 2.62s/it] 8%|██████████████████████▍ | 2/25 [00:05<00:59, 2.60s/it] 12%|█████████████████████████████████▋ | 3/25 [00:07<00:57, 2.61s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:10<00:54, 2.61s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:13<00:52, 2.61s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:15<00:49, 2.61s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:18<00:46, 2.61s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:20<00:44, 2.60s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:23<00:41, 2.59s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:25<00:38, 2.58s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:28<00:36, 2.58s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:31<00:33, 2.58s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:33<00:30, 2.57s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:36<00:28, 2.57s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:38<00:25, 2.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:41<00:23, 2.59s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:43<00:20, 2.57s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [00:46<00:18, 2.58s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [00:49<00:15, 2.57s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [00:51<00:12, 2.58s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [00:54<00:10, 2.57s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [00:56<00:07, 2.56s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [00:59<00:05, 2.58s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:02<00:02, 2.59s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:04<00:00, 2.58s/it] 0%| | 0/25 [00:00<?, ?it/s]
SGD 25 400 0.01 DONE NEW LOOP
4%|███████████▏ | 1/25 [00:04<01:52, 4.67s/it] 8%|██████████████████████▍ | 2/25 [00:09<01:47, 4.66s/it] 12%|█████████████████████████████████▋ | 3/25 [00:13<01:42, 4.67s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:18<01:37, 4.66s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:23<01:32, 4.64s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:27<01:28, 4.64s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:32<01:23, 4.63s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:37<01:18, 4.62s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:41<01:13, 4.62s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:46<01:11, 4.80s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:52<01:08, 4.91s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:56<01:03, 4.89s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [01:02<01:00, 5.06s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [01:07<00:55, 5.03s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [01:12<00:49, 4.92s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [01:16<00:43, 4.83s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [01:21<00:38, 4.77s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [01:25<00:33, 4.72s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [01:30<00:28, 4.71s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [01:35<00:23, 4.69s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [01:40<00:18, 4.73s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:44<00:14, 4.71s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:49<00:09, 4.68s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:53<00:04, 4.65s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:58<00:00, 4.74s/it] 0%| | 0/25 [00:00<?, ?it/s]
NADAM 25 400 0.005 DONE
4%|███████████▏ | 1/25 [00:02<01:05, 2.75s/it] 8%|██████████████████████▍ | 2/25 [00:05<01:03, 2.74s/it] 12%|█████████████████████████████████▋ | 3/25 [00:08<01:00, 2.75s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:10<00:57, 2.74s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:13<00:54, 2.73s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:16<00:51, 2.74s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:19<00:49, 2.74s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:21<00:46, 2.74s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:24<00:43, 2.74s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:27<00:41, 2.74s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:30<00:38, 2.74s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:32<00:35, 2.73s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:35<00:32, 2.73s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:38<00:30, 2.74s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:41<00:27, 2.74s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:43<00:24, 2.74s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:46<00:21, 2.74s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [00:49<00:19, 2.74s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [00:52<00:16, 2.75s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [00:54<00:13, 2.74s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [00:57<00:10, 2.74s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [01:00<00:08, 2.74s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [01:02<00:05, 2.72s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:05<00:02, 2.72s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:08<00:00, 2.74s/it] 0%| | 0/25 [00:00<?, ?it/s]
ADAM 25 400 0.005 DONE
4%|███████████▏ | 1/25 [00:02<01:03, 2.63s/it] 8%|██████████████████████▍ | 2/25 [00:05<01:00, 2.61s/it] 12%|█████████████████████████████████▋ | 3/25 [00:07<00:57, 2.60s/it] 16%|████████████████████████████████████████████▉ | 4/25 [00:10<00:54, 2.62s/it] 20%|████████████████████████████████████████████████████████▏ | 5/25 [00:13<00:52, 2.61s/it] 24%|███████████████████████████████████████████████████████████████████▍ | 6/25 [00:15<00:49, 2.61s/it] 28%|██████████████████████████████████████████████████████████████████████████████▋ | 7/25 [00:18<00:46, 2.60s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 8/25 [00:20<00:44, 2.60s/it] 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 9/25 [00:23<00:41, 2.59s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 10/25 [00:25<00:38, 2.59s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 11/25 [00:28<00:36, 2.58s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 12/25 [00:31<00:33, 2.59s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 13/25 [00:33<00:30, 2.58s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 14/25 [00:36<00:28, 2.58s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 15/25 [00:38<00:25, 2.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 16/25 [00:41<00:23, 2.57s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 17/25 [00:43<00:20, 2.57s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 18/25 [00:46<00:17, 2.56s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 19/25 [00:49<00:15, 2.56s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/25 [00:51<00:12, 2.56s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 21/25 [00:54<00:10, 2.56s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 22/25 [00:56<00:07, 2.57s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 23/25 [00:59<00:05, 2.57s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/25 [01:01<00:02, 2.58s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:04<00:00, 2.58s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 25 400 0.005 DONE NEW LOOP
2%|█████▌ | 1/50 [00:12<09:53, 12.11s/it] 4%|███████████▏ | 2/50 [00:24<09:40, 12.09s/it] 6%|████████████████▊ | 3/50 [00:36<09:28, 12.10s/it] 8%|██████████████████████▍ | 4/50 [00:48<09:16, 12.09s/it] 10%|████████████████████████████ | 5/50 [01:00<09:05, 12.13s/it] 12%|█████████████████████████████████▋ | 6/50 [01:12<08:53, 12.12s/it] 14%|███████████████████████████████████████▎ | 7/50 [01:24<08:40, 12.10s/it] 16%|████████████████████████████████████████████▉ | 8/50 [01:37<08:30, 12.16s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [01:49<08:17, 12.13s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [02:01<08:04, 12.12s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [02:13<07:51, 12.10s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [02:25<07:39, 12.08s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [02:37<07:27, 12.08s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [02:49<07:14, 12.07s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [03:01<07:02, 12.08s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [03:13<06:49, 12.05s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [03:25<06:36, 12.03s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [03:37<06:24, 12.02s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [03:49<06:12, 12.01s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [04:01<06:00, 12.01s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [04:13<05:48, 12.02s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [04:25<05:36, 12.00s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [04:37<05:24, 12.03s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [04:49<05:15, 12.12s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [05:02<05:03, 12.13s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [05:14<04:50, 12.09s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [05:25<04:37, 12.05s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [05:38<04:24, 12.04s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [05:49<04:12, 12.02s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [06:01<03:59, 11.99s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [06:13<03:47, 11.97s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [06:26<03:37, 12.06s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [06:38<03:27, 12.22s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [06:51<03:16, 12.31s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [07:03<03:05, 12.38s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [07:15<02:51, 12.26s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [07:27<02:38, 12.17s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [07:39<02:25, 12.12s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [07:51<02:12, 12.07s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [08:03<02:00, 12.04s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [08:15<01:48, 12.00s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [08:27<01:35, 11.98s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [08:39<01:24, 12.02s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [08:51<01:12, 12.02s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [09:03<01:00, 12.04s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [09:15<00:48, 12.01s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [09:27<00:36, 12.02s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [09:39<00:24, 12.03s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [09:51<00:12, 12.00s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [10:03<00:00, 12.07s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 100 0.001 DONE
2%|█████▌ | 1/50 [00:04<03:59, 4.89s/it] 4%|███████████▏ | 2/50 [00:09<03:53, 4.87s/it] 6%|████████████████▊ | 3/50 [00:14<03:47, 4.84s/it] 8%|██████████████████████▍ | 4/50 [00:19<03:41, 4.82s/it] 10%|████████████████████████████ | 5/50 [00:24<03:37, 4.83s/it] 12%|█████████████████████████████████▋ | 6/50 [00:28<03:33, 4.84s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:33<03:27, 4.83s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:38<03:22, 4.82s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:43<03:17, 4.83s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:48<03:13, 4.83s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:53<03:09, 4.85s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:58<03:04, 4.85s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [01:02<02:58, 4.83s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:07<02:53, 4.82s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:12<02:48, 4.80s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:17<02:43, 4.80s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:21<02:38, 4.80s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:26<02:34, 4.82s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:31<02:30, 4.84s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:36<02:25, 4.85s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:41<02:20, 4.86s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:46<02:15, 4.84s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:51<02:10, 4.83s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:55<02:05, 4.83s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [02:00<02:00, 4.82s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [02:05<01:55, 4.82s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [02:10<01:51, 4.83s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [02:15<01:46, 4.83s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [02:20<01:41, 4.83s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:24<01:36, 4.82s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:29<01:31, 4.81s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:34<01:26, 4.80s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:39<01:21, 4.79s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:43<01:16, 4.81s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:48<01:12, 4.81s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:53<01:07, 4.80s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [02:58<01:02, 4.80s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [03:03<00:57, 4.80s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [03:08<00:52, 4.81s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [03:12<00:48, 4.81s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [03:17<00:43, 4.79s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [03:22<00:38, 4.76s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [03:27<00:33, 4.77s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:31<00:28, 4.75s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:36<00:23, 4.78s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:41<00:19, 4.81s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:46<00:14, 4.81s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:51<00:09, 4.80s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:55<00:04, 4.81s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [04:00<00:00, 4.81s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 100 0.001 DONE
2%|█████▌ | 1/50 [00:04<03:26, 4.22s/it] 4%|███████████▏ | 2/50 [00:08<03:21, 4.20s/it] 6%|████████████████▊ | 3/50 [00:12<03:16, 4.18s/it] 8%|██████████████████████▍ | 4/50 [00:16<03:11, 4.17s/it] 10%|████████████████████████████ | 5/50 [00:20<03:07, 4.16s/it] 12%|█████████████████████████████████▋ | 6/50 [00:24<03:02, 4.15s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:29<02:57, 4.13s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:33<02:52, 4.12s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:37<02:48, 4.12s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:41<02:44, 4.11s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:45<02:40, 4.11s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:49<02:37, 4.13s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:53<02:33, 4.15s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:57<02:28, 4.13s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:01<02:24, 4.13s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:06<02:20, 4.14s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:10<02:16, 4.13s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:14<02:12, 4.13s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:18<02:07, 4.12s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:22<02:03, 4.11s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:26<01:59, 4.14s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:30<01:55, 4.14s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:35<01:51, 4.13s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:39<01:47, 4.15s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:43<01:43, 4.16s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:47<01:39, 4.16s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:51<01:35, 4.16s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:55<01:31, 4.14s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:59<01:26, 4.12s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:04<01:22, 4.12s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:08<01:17, 4.10s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:12<01:13, 4.11s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:16<01:09, 4.11s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:20<01:05, 4.11s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:24<01:01, 4.13s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:28<00:57, 4.13s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [02:32<00:53, 4.15s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:37<00:50, 4.18s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:41<00:45, 4.17s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [02:45<00:41, 4.16s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [02:49<00:37, 4.14s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:53<00:33, 4.14s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:57<00:28, 4.13s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:01<00:24, 4.12s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:06<00:20, 4.12s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:10<00:16, 4.10s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:14<00:12, 4.13s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:18<00:08, 4.12s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:22<00:04, 4.13s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:26<00:00, 4.13s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 50 100 0.001 DONE NEW LOOP
2%|█████▌ | 1/50 [00:11<09:38, 11.81s/it] 4%|███████████▏ | 2/50 [00:23<09:26, 11.81s/it] 6%|████████████████▊ | 3/50 [00:35<09:16, 11.84s/it] 8%|██████████████████████▍ | 4/50 [00:47<09:02, 11.80s/it] 10%|████████████████████████████ | 5/50 [00:59<08:50, 11.79s/it] 12%|█████████████████████████████████▋ | 6/50 [01:10<08:39, 11.81s/it] 14%|███████████████████████████████████████▎ | 7/50 [01:23<08:36, 12.02s/it] 16%|████████████████████████████████████████████▉ | 8/50 [01:35<08:24, 12.02s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [01:47<08:09, 11.93s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [01:58<07:55, 11.89s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [02:10<07:43, 11.87s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [02:22<07:29, 11.83s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [02:34<07:16, 11.79s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [02:45<07:04, 11.78s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [02:57<06:51, 11.75s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [03:09<06:39, 11.74s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [03:21<06:27, 11.73s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [03:32<06:15, 11.73s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [03:44<06:04, 11.75s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [03:56<05:52, 11.73s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [04:07<05:39, 11.72s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [04:19<05:28, 11.72s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [04:31<05:16, 11.74s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [04:43<05:04, 11.71s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [04:54<04:52, 11.70s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [05:06<04:41, 11.72s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [05:18<04:29, 11.74s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [05:30<04:19, 11.78s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [05:41<04:07, 11.76s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [05:53<03:54, 11.75s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [06:05<03:42, 11.74s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [06:17<03:30, 11.71s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [06:28<03:19, 11.73s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [06:40<03:07, 11.72s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [06:52<02:55, 11.72s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [07:03<02:44, 11.72s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [07:15<02:32, 11.77s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [07:27<02:21, 11.79s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [07:39<02:09, 11.76s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [07:51<01:57, 11.77s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [08:02<01:45, 11.73s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [08:14<01:33, 11.72s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [08:26<01:21, 11.71s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [08:37<01:10, 11.72s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [08:49<00:58, 11.74s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [09:01<00:47, 11.76s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [09:13<00:35, 11.77s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [09:25<00:23, 11.76s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [09:36<00:11, 11.79s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [09:48<00:00, 11.77s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 100 0.01 DONE
2%|█████▌ | 1/50 [00:04<03:56, 4.82s/it] 4%|███████████▏ | 2/50 [00:09<03:52, 4.84s/it] 6%|████████████████▊ | 3/50 [00:14<03:46, 4.82s/it] 8%|██████████████████████▍ | 4/50 [00:19<03:40, 4.79s/it] 10%|████████████████████████████ | 5/50 [00:23<03:34, 4.76s/it] 12%|█████████████████████████████████▋ | 6/50 [00:28<03:29, 4.77s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:33<03:24, 4.75s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:38<03:20, 4.76s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:42<03:14, 4.75s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:47<03:09, 4.74s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:52<03:05, 4.75s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:57<03:01, 4.77s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [01:01<02:56, 4.77s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:06<02:51, 4.75s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:11<02:46, 4.75s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:16<02:41, 4.75s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:20<02:37, 4.76s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:25<02:32, 4.76s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:30<02:27, 4.76s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:35<02:22, 4.77s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:40<02:18, 4.76s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:44<02:12, 4.75s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:49<02:08, 4.76s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:54<02:03, 4.75s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:58<01:58, 4.74s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [02:03<01:53, 4.73s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [02:08<01:49, 4.76s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [02:13<01:44, 4.73s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [02:18<01:40, 4.78s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:22<01:35, 4.77s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:27<01:30, 4.75s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:32<01:25, 4.76s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:37<01:21, 4.79s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:41<01:16, 4.79s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:46<01:11, 4.78s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:51<01:07, 4.79s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [02:56<01:01, 4.75s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [03:00<00:57, 4.77s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [03:05<00:52, 4.76s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [03:10<00:47, 4.77s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [03:15<00:42, 4.75s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [03:19<00:37, 4.75s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [03:24<00:33, 4.73s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:29<00:28, 4.74s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:34<00:23, 4.74s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:39<00:19, 4.78s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:43<00:14, 4.76s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:48<00:09, 4.75s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:53<00:04, 4.75s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:57<00:00, 4.76s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 100 0.01 DONE
2%|█████▌ | 1/50 [00:04<03:22, 4.14s/it] 4%|███████████▏ | 2/50 [00:08<03:19, 4.15s/it] 6%|████████████████▊ | 3/50 [00:12<03:14, 4.14s/it] 8%|██████████████████████▍ | 4/50 [00:16<03:09, 4.12s/it] 10%|████████████████████████████ | 5/50 [00:20<03:05, 4.11s/it] 12%|█████████████████████████████████▋ | 6/50 [00:24<03:02, 4.16s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:28<02:57, 4.13s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:33<02:53, 4.12s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:37<02:49, 4.13s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:41<02:46, 4.16s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:45<02:42, 4.16s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:49<02:37, 4.15s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:53<02:33, 4.15s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:57<02:28, 4.13s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:02<02:24, 4.14s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:06<02:20, 4.13s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:10<02:15, 4.12s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:14<02:12, 4.14s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:18<02:07, 4.13s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:22<02:03, 4.13s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:26<01:59, 4.13s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:30<01:55, 4.13s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:35<01:51, 4.13s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:39<01:47, 4.15s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:43<01:43, 4.16s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:47<01:39, 4.14s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:51<01:35, 4.14s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:55<01:31, 4.14s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:59<01:26, 4.13s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:04<01:22, 4.15s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:08<01:18, 4.14s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:12<01:14, 4.13s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:16<01:10, 4.14s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:20<01:05, 4.12s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:24<01:02, 4.14s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:28<00:57, 4.13s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [02:33<00:53, 4.14s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:37<00:49, 4.12s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:41<00:45, 4.11s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [02:45<00:40, 4.10s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [02:49<00:37, 4.14s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:53<00:33, 4.14s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:57<00:28, 4.13s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:01<00:24, 4.13s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:06<00:20, 4.15s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:10<00:16, 4.13s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:14<00:12, 4.12s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:18<00:08, 4.12s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:22<00:04, 4.12s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:26<00:00, 4.13s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 50 100 0.01 DONE NEW LOOP
2%|█████▌ | 1/50 [00:11<09:38, 11.81s/it] 4%|███████████▏ | 2/50 [00:23<09:27, 11.83s/it] 6%|████████████████▊ | 3/50 [00:35<09:15, 11.83s/it] 8%|██████████████████████▍ | 4/50 [00:47<09:04, 11.84s/it] 10%|████████████████████████████ | 5/50 [00:59<08:52, 11.82s/it] 12%|█████████████████████████████████▋ | 6/50 [01:10<08:39, 11.80s/it] 14%|███████████████████████████████████████▎ | 7/50 [01:22<08:27, 11.79s/it] 16%|████████████████████████████████████████████▉ | 8/50 [01:34<08:14, 11.77s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [01:46<08:02, 11.77s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [01:57<07:50, 11.76s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [02:09<07:38, 11.75s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [02:21<07:28, 11.79s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [02:33<07:16, 11.80s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [02:45<07:03, 11.77s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [02:56<06:51, 11.76s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [03:08<06:39, 11.76s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [03:20<06:27, 11.75s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [03:32<06:17, 11.80s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [03:43<06:05, 11.80s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [03:55<05:53, 11.80s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [04:07<05:41, 11.78s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [04:19<05:29, 11.78s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [04:30<05:17, 11.76s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [04:42<05:05, 11.73s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [04:54<04:53, 11.75s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [05:06<04:41, 11.74s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [05:17<04:29, 11.73s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [05:29<04:17, 11.71s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [05:41<04:05, 11.71s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [05:52<03:54, 11.70s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [06:04<03:42, 11.71s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [06:16<03:31, 11.73s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [06:28<03:19, 11.71s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [06:39<03:07, 11.72s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [06:51<02:56, 11.75s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [07:03<02:44, 11.73s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [07:15<02:32, 11.75s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [07:26<02:21, 11.75s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [07:38<02:09, 11.74s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [07:50<01:57, 11.74s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [08:02<01:45, 11.74s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [08:13<01:34, 11.78s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [08:25<01:22, 11.79s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [08:37<01:10, 11.78s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [08:49<00:58, 11.76s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [09:01<00:47, 11.79s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [09:12<00:35, 11.76s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [09:24<00:23, 11.73s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [09:36<00:11, 11.74s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [09:48<00:00, 11.76s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 100 0.005 DONE
2%|█████▌ | 1/50 [00:05<04:16, 5.24s/it] 4%|███████████▏ | 2/50 [00:10<04:15, 5.32s/it] 6%|████████████████▊ | 3/50 [00:16<04:18, 5.49s/it] 8%|██████████████████████▍ | 4/50 [00:22<04:11, 5.47s/it] 10%|████████████████████████████ | 5/50 [00:27<04:06, 5.49s/it] 12%|█████████████████████████████████▋ | 6/50 [00:32<03:58, 5.41s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:37<03:47, 5.30s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:42<03:34, 5.11s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:47<03:25, 5.01s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:52<03:17, 4.93s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:56<03:12, 4.92s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [01:01<03:05, 4.89s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [01:06<02:59, 4.84s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:11<02:54, 4.84s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:16<02:48, 4.82s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:20<02:43, 4.80s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:25<02:38, 4.81s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:30<02:33, 4.79s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:35<02:28, 4.78s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:39<02:23, 4.77s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:44<02:18, 4.78s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:49<02:13, 4.77s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:54<02:08, 4.76s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:58<02:03, 4.75s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [02:03<01:59, 4.76s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [02:08<01:54, 4.76s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [02:13<01:49, 4.78s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [02:17<01:44, 4.75s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [02:22<01:39, 4.74s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:27<01:35, 4.78s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:32<01:30, 4.77s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:37<01:25, 4.77s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:41<01:21, 4.78s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:46<01:16, 4.77s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:51<01:11, 4.77s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:56<01:06, 4.77s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [03:00<01:01, 4.74s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [03:05<00:56, 4.74s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [03:10<00:52, 4.75s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [03:15<00:47, 4.73s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [03:19<00:42, 4.74s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [03:24<00:37, 4.74s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [03:29<00:33, 4.74s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:34<00:28, 4.74s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:38<00:23, 4.76s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:43<00:19, 4.76s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:48<00:14, 4.75s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:53<00:09, 4.75s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:57<00:04, 4.73s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [04:02<00:00, 4.85s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 100 0.005 DONE
2%|█████▌ | 1/50 [00:04<03:30, 4.29s/it] 4%|███████████▏ | 2/50 [00:08<03:24, 4.25s/it] 6%|████████████████▊ | 3/50 [00:12<03:17, 4.21s/it] 8%|██████████████████████▍ | 4/50 [00:16<03:13, 4.20s/it] 10%|████████████████████████████ | 5/50 [00:20<03:09, 4.22s/it] 12%|█████████████████████████████████▋ | 6/50 [00:25<03:05, 4.22s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:29<03:00, 4.19s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:33<02:55, 4.18s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:37<02:51, 4.19s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:41<02:47, 4.18s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:45<02:41, 4.15s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:50<02:37, 4.16s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:54<02:33, 4.14s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:58<02:29, 4.15s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:02<02:25, 4.16s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:06<02:22, 4.19s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:11<02:18, 4.19s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:15<02:13, 4.17s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:19<02:09, 4.17s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:23<02:04, 4.16s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:27<02:00, 4.17s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:31<01:56, 4.16s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:35<01:52, 4.15s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:40<01:48, 4.17s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:44<01:44, 4.18s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:48<01:39, 4.14s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:52<01:35, 4.14s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:56<01:31, 4.14s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [02:00<01:26, 4.14s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:04<01:22, 4.13s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:08<01:18, 4.11s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:13<01:14, 4.13s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:17<01:10, 4.13s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:21<01:06, 4.13s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:25<01:01, 4.12s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:29<00:57, 4.12s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [02:33<00:53, 4.11s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:37<00:49, 4.10s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:41<00:45, 4.12s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [02:46<00:41, 4.11s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [02:50<00:37, 4.13s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:54<00:33, 4.13s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:58<00:28, 4.13s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:02<00:24, 4.13s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:06<00:20, 4.13s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:10<00:16, 4.12s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:14<00:12, 4.12s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:19<00:08, 4.12s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:23<00:04, 4.12s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:27<00:00, 4.15s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 50 100 0.005 DONE NEW LOOP
2%|█████▌ | 1/50 [00:06<05:35, 6.84s/it] 4%|███████████▏ | 2/50 [00:13<05:27, 6.83s/it] 6%|████████████████▊ | 3/50 [00:20<05:20, 6.81s/it] 8%|██████████████████████▍ | 4/50 [00:27<05:13, 6.81s/it] 10%|████████████████████████████ | 5/50 [00:34<05:06, 6.80s/it] 12%|█████████████████████████████████▋ | 6/50 [00:40<04:58, 6.79s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:47<04:51, 6.78s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:54<04:45, 6.80s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [01:01<04:38, 6.79s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [01:07<04:31, 6.79s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [01:14<04:24, 6.79s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [01:21<04:17, 6.77s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [01:28<04:10, 6.77s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:34<04:03, 6.77s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:41<03:56, 6.77s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:48<03:50, 6.78s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:55<03:43, 6.78s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [02:02<03:36, 6.77s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [02:08<03:30, 6.78s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [02:15<03:23, 6.78s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [02:22<03:16, 6.77s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [02:29<03:09, 6.78s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [02:35<03:02, 6.78s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [02:42<02:56, 6.78s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [02:49<02:49, 6.77s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [02:56<02:42, 6.78s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [03:03<02:35, 6.77s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [03:09<02:29, 6.77s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [03:16<02:22, 6.77s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [03:23<02:15, 6.77s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [03:30<02:08, 6.77s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [03:37<02:04, 6.90s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [03:44<01:58, 6.97s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [03:53<02:03, 7.70s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [04:01<01:55, 7.68s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [04:08<01:44, 7.49s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [04:15<01:35, 7.33s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [04:22<01:27, 7.26s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [04:29<01:18, 7.14s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [04:36<01:10, 7.06s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [04:43<01:02, 6.99s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [04:50<00:55, 6.95s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [04:57<00:48, 6.96s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [05:03<00:41, 6.92s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [05:10<00:34, 6.91s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [05:17<00:27, 6.95s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [05:24<00:20, 6.98s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [05:31<00:13, 6.97s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [05:38<00:06, 6.94s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:47<00:00, 6.94s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 200 0.001 DONE
2%|█████▌ | 1/50 [00:03<02:42, 3.31s/it] 4%|███████████▏ | 2/50 [00:06<02:37, 3.28s/it] 6%|████████████████▊ | 3/50 [00:09<02:33, 3.26s/it] 8%|██████████████████████▍ | 4/50 [00:12<02:29, 3.24s/it] 10%|████████████████████████████ | 5/50 [00:16<02:25, 3.24s/it] 12%|█████████████████████████████████▋ | 6/50 [00:19<02:21, 3.22s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:22<02:18, 3.21s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:25<02:15, 3.22s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:28<02:11, 3.22s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:32<02:09, 3.23s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:35<02:05, 3.22s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:38<02:02, 3.23s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:41<01:59, 3.23s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:45<01:56, 3.23s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:48<01:53, 3.23s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:51<01:50, 3.24s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:54<01:46, 3.23s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:58<01:43, 3.22s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:01<01:39, 3.22s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:04<01:36, 3.21s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:07<01:33, 3.22s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:10<01:30, 3.23s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:14<01:27, 3.23s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:17<01:23, 3.22s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:20<01:20, 3.22s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:23<01:17, 3.21s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:26<01:13, 3.22s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:30<01:10, 3.21s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:33<01:07, 3.23s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:36<01:04, 3.22s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:39<01:01, 3.22s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:43<00:58, 3.23s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:46<00:55, 3.25s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:49<00:51, 3.23s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:52<00:48, 3.23s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:56<00:45, 3.23s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:59<00:41, 3.23s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:02<00:38, 3.22s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:05<00:35, 3.22s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [02:08<00:32, 3.22s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [02:12<00:28, 3.21s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:15<00:25, 3.21s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:18<00:22, 3.22s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [02:21<00:19, 3.22s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:25<00:16, 3.21s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:28<00:12, 3.22s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:31<00:09, 3.22s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:34<00:06, 3.21s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:37<00:03, 3.23s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:41<00:00, 3.23s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 200 0.001 DONE
2%|█████▌ | 1/50 [00:02<02:22, 2.90s/it] 4%|███████████▏ | 2/50 [00:05<02:19, 2.91s/it] 6%|████████████████▊ | 3/50 [00:08<02:16, 2.90s/it] 8%|██████████████████████▍ | 4/50 [00:11<02:13, 2.90s/it] 10%|████████████████████████████ | 5/50 [00:14<02:09, 2.88s/it] 12%|█████████████████████████████████▋ | 6/50 [00:17<02:06, 2.88s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:20<02:04, 2.89s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:23<02:01, 2.89s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:26<01:59, 2.90s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:28<01:56, 2.91s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:31<01:53, 2.91s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:34<01:50, 2.90s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:37<01:47, 2.90s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:40<01:44, 2.90s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:43<01:41, 2.89s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:46<01:38, 2.89s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:49<01:35, 2.89s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:52<01:32, 2.88s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:54<01:29, 2.88s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:57<01:26, 2.89s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:00<01:24, 2.91s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:03<01:21, 2.92s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:06<01:18, 2.90s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:09<01:15, 2.89s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:12<01:12, 2.89s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:15<01:10, 2.95s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:18<01:07, 2.94s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:21<01:04, 2.91s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:24<01:00, 2.89s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:26<00:57, 2.89s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:29<00:54, 2.89s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:32<00:51, 2.88s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:35<00:48, 2.88s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:38<00:45, 2.87s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:41<00:43, 2.88s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:44<00:40, 2.88s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:47<00:37, 2.89s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:50<00:34, 2.89s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:52<00:31, 2.90s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:55<00:28, 2.90s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:58<00:26, 2.91s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:01<00:23, 2.90s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:04<00:20, 2.89s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [02:07<00:17, 2.88s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:10<00:14, 2.88s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:13<00:11, 2.88s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:16<00:08, 2.88s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:18<00:05, 2.88s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:21<00:02, 2.89s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:24<00:00, 2.89s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 50 200 0.001 DONE NEW LOOP
2%|█████▌ | 1/50 [00:06<05:41, 6.97s/it] 4%|███████████▏ | 2/50 [00:13<05:32, 6.92s/it] 6%|████████████████▊ | 3/50 [00:20<05:23, 6.89s/it] 8%|██████████████████████▍ | 4/50 [00:27<05:15, 6.87s/it] 10%|████████████████████████████ | 5/50 [00:34<05:08, 6.85s/it] 12%|█████████████████████████████████▋ | 6/50 [00:40<05:00, 6.82s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:47<04:53, 6.82s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:54<04:46, 6.81s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [01:01<04:39, 6.82s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [01:08<04:32, 6.82s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [01:15<04:25, 6.82s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [01:21<04:18, 6.80s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [01:28<04:11, 6.81s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:35<04:04, 6.80s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:42<03:58, 6.82s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:49<03:53, 6.86s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:56<03:46, 6.86s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [02:02<03:39, 6.87s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [02:09<03:32, 6.86s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [02:16<03:24, 6.83s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [02:23<03:17, 6.82s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [02:30<03:10, 6.80s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [02:36<03:03, 6.80s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [02:43<02:56, 6.79s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [02:50<02:49, 6.79s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [02:57<02:42, 6.78s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [03:04<02:35, 6.78s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [03:10<02:29, 6.79s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [03:17<02:22, 6.77s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [03:24<02:15, 6.79s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [03:31<02:09, 6.79s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [03:37<02:02, 6.80s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [03:44<01:55, 6.78s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [03:51<01:48, 6.79s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [03:58<01:41, 6.79s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [04:05<01:35, 6.83s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [04:12<01:28, 6.84s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [04:18<01:21, 6.81s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [04:25<01:14, 6.81s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [04:32<01:08, 6.81s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [04:39<01:01, 6.80s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [04:46<00:54, 6.79s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [04:52<00:47, 6.79s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [04:59<00:40, 6.79s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [05:06<00:33, 6.78s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [05:13<00:27, 6.81s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [05:20<00:20, 6.81s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [05:26<00:13, 6.80s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [05:33<00:06, 6.80s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:40<00:00, 6.81s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 200 0.01 DONE
2%|█████▌ | 1/50 [00:03<02:40, 3.27s/it] 4%|███████████▏ | 2/50 [00:06<02:36, 3.26s/it] 6%|████████████████▊ | 3/50 [00:09<02:33, 3.26s/it] 8%|██████████████████████▍ | 4/50 [00:12<02:29, 3.24s/it] 10%|████████████████████████████ | 5/50 [00:16<02:24, 3.22s/it] 12%|█████████████████████████████████▋ | 6/50 [00:19<02:20, 3.20s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:22<02:18, 3.23s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:25<02:15, 3.22s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:28<02:11, 3.22s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:32<02:08, 3.21s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:35<02:05, 3.21s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:38<02:02, 3.21s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:41<01:58, 3.21s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:45<01:55, 3.21s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:48<01:51, 3.20s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:51<01:48, 3.20s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:54<01:45, 3.20s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:57<01:42, 3.20s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:00<01:39, 3.20s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:04<01:35, 3.19s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:07<01:32, 3.18s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:10<01:29, 3.20s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:13<01:26, 3.21s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:17<01:23, 3.21s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:20<01:20, 3.21s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:23<01:17, 3.22s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:26<01:14, 3.23s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:29<01:10, 3.22s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:33<01:07, 3.21s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:36<01:03, 3.20s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:39<01:00, 3.21s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:42<00:57, 3.21s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:45<00:54, 3.20s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:49<00:51, 3.19s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:52<00:47, 3.19s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:55<00:44, 3.20s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:58<00:41, 3.20s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:01<00:38, 3.21s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:05<00:35, 3.20s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [02:08<00:31, 3.19s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [02:11<00:28, 3.20s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:14<00:25, 3.20s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:17<00:22, 3.20s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [02:21<00:19, 3.23s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:24<00:16, 3.22s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:27<00:12, 3.21s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:30<00:09, 3.22s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:34<00:06, 3.21s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:37<00:03, 3.20s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:40<00:00, 3.21s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 200 0.01 DONE
2%|█████▌ | 1/50 [00:02<02:23, 2.93s/it] 4%|███████████▏ | 2/50 [00:05<02:20, 2.92s/it] 6%|████████████████▊ | 3/50 [00:08<02:16, 2.91s/it] 8%|██████████████████████▍ | 4/50 [00:11<02:13, 2.91s/it] 10%|████████████████████████████ | 5/50 [00:14<02:10, 2.90s/it] 12%|█████████████████████████████████▋ | 6/50 [00:17<02:07, 2.90s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:20<02:05, 2.92s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:23<02:02, 2.92s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:26<01:58, 2.90s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:29<01:55, 2.90s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:31<01:53, 2.90s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:34<01:49, 2.89s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:37<01:46, 2.89s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:40<01:43, 2.88s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:43<01:41, 2.89s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:46<01:38, 2.89s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:49<01:35, 2.89s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:52<01:32, 2.90s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:55<01:29, 2.89s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:57<01:26, 2.89s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:00<01:23, 2.90s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:03<01:21, 2.90s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:06<01:17, 2.88s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:09<01:14, 2.88s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:12<01:12, 2.89s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:15<01:08, 2.87s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:18<01:05, 2.87s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:20<01:03, 2.87s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:23<01:00, 2.87s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:26<00:57, 2.87s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:29<00:54, 2.86s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:32<00:51, 2.86s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:35<00:48, 2.87s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:38<00:45, 2.86s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:40<00:42, 2.87s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:43<00:40, 2.87s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:46<00:37, 2.86s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:49<00:34, 2.85s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:52<00:31, 2.86s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:55<00:28, 2.86s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:58<00:25, 2.87s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:01<00:22, 2.86s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:03<00:20, 2.86s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [02:06<00:17, 2.86s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:09<00:14, 2.86s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:12<00:11, 2.87s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:15<00:08, 2.87s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:18<00:05, 2.86s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:21<00:02, 2.86s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:23<00:00, 2.88s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 50 200 0.01 DONE NEW LOOP
2%|█████▌ | 1/50 [00:06<05:33, 6.81s/it] 4%|███████████▏ | 2/50 [00:13<05:25, 6.78s/it] 6%|████████████████▊ | 3/50 [00:20<05:18, 6.77s/it] 8%|██████████████████████▍ | 4/50 [00:26<05:10, 6.74s/it] 10%|████████████████████████████ | 5/50 [00:33<05:03, 6.73s/it] 12%|█████████████████████████████████▋ | 6/50 [00:40<04:56, 6.74s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:47<04:49, 6.73s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:53<04:42, 6.73s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [01:00<04:36, 6.73s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [01:07<04:29, 6.73s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [01:14<04:22, 6.73s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [01:20<04:16, 6.75s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [01:27<04:09, 6.74s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:34<04:02, 6.75s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:41<03:56, 6.75s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:47<03:49, 6.74s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:54<03:42, 6.74s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [02:01<03:35, 6.73s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [02:07<03:28, 6.71s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [02:14<03:21, 6.71s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [02:21<03:14, 6.70s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [02:27<03:07, 6.69s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [02:34<03:00, 6.69s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [02:41<02:54, 6.70s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [02:48<02:47, 6.69s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [02:54<02:40, 6.70s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [03:01<02:34, 6.70s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [03:08<02:28, 6.74s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [03:15<02:21, 6.75s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [03:21<02:15, 6.76s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [03:28<02:08, 6.75s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [03:35<02:01, 6.74s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [03:42<01:54, 6.74s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [03:48<01:48, 6.75s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [03:55<01:40, 6.73s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [04:02<01:34, 6.73s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [04:08<01:27, 6.72s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [04:15<01:20, 6.71s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [04:22<01:14, 6.73s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [04:29<01:07, 6.71s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [04:35<01:00, 6.72s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [04:42<00:53, 6.70s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [04:49<00:46, 6.70s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [04:55<00:40, 6.71s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [05:02<00:33, 6.70s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [05:09<00:26, 6.70s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [05:16<00:20, 6.94s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [05:23<00:13, 6.89s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [05:30<00:06, 6.83s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:36<00:00, 6.74s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 200 0.005 DONE
2%|█████▌ | 1/50 [00:03<02:37, 3.21s/it] 4%|███████████▏ | 2/50 [00:06<02:33, 3.20s/it] 6%|████████████████▊ | 3/50 [00:09<02:30, 3.20s/it] 8%|██████████████████████▍ | 4/50 [00:12<02:26, 3.19s/it] 10%|████████████████████████████ | 5/50 [00:15<02:23, 3.18s/it] 12%|█████████████████████████████████▋ | 6/50 [00:19<02:19, 3.17s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:22<02:16, 3.17s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:25<02:13, 3.17s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:28<02:10, 3.17s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:31<02:06, 3.17s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:34<02:03, 3.18s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:38<02:00, 3.17s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:41<01:57, 3.18s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:44<01:54, 3.18s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:47<01:51, 3.18s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:50<01:48, 3.18s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:53<01:44, 3.17s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:57<01:41, 3.18s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:00<01:38, 3.17s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:03<01:35, 3.17s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:06<01:31, 3.17s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:09<01:28, 3.17s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:13<01:25, 3.18s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:16<01:22, 3.17s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:19<01:19, 3.18s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:22<01:15, 3.17s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:25<01:12, 3.16s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:28<01:09, 3.16s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:32<01:06, 3.17s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:35<01:03, 3.17s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:38<01:00, 3.17s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:41<00:57, 3.19s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:44<00:54, 3.18s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:47<00:51, 3.19s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:51<00:47, 3.18s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:54<00:44, 3.17s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:57<00:41, 3.17s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:00<00:38, 3.17s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:03<00:34, 3.16s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [02:06<00:31, 3.17s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [02:10<00:28, 3.17s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:13<00:25, 3.16s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:16<00:22, 3.17s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [02:19<00:19, 3.18s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:22<00:15, 3.17s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:25<00:12, 3.17s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:29<00:09, 3.17s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:32<00:06, 3.17s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:35<00:03, 3.17s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:38<00:00, 3.17s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 200 0.005 DONE
2%|█████▌ | 1/50 [00:02<02:20, 2.86s/it] 4%|███████████▏ | 2/50 [00:05<02:17, 2.86s/it] 6%|████████████████▊ | 3/50 [00:08<02:15, 2.87s/it] 8%|██████████████████████▍ | 4/50 [00:11<02:12, 2.88s/it] 10%|████████████████████████████ | 5/50 [00:14<02:08, 2.86s/it] 12%|█████████████████████████████████▋ | 6/50 [00:17<02:05, 2.86s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:20<02:03, 2.87s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:22<02:00, 2.87s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:25<01:57, 2.86s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:28<01:54, 2.87s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:31<01:52, 2.87s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:34<01:49, 2.87s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:37<01:45, 2.86s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:40<01:42, 2.86s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:43<01:40, 2.86s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:45<01:37, 2.86s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:48<01:34, 2.87s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:51<01:31, 2.86s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:54<01:28, 2.87s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:57<01:26, 2.87s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:00<01:23, 2.87s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:03<01:20, 2.87s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:05<01:17, 2.87s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:08<01:14, 2.87s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:11<01:11, 2.86s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:14<01:08, 2.86s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:17<01:05, 2.87s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:20<01:03, 2.87s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:23<01:00, 2.86s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:25<00:57, 2.86s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:28<00:54, 2.85s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:31<00:51, 2.86s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:34<00:48, 2.86s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:37<00:45, 2.86s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:40<00:43, 2.87s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:43<00:40, 2.89s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:46<00:37, 2.89s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:49<00:34, 2.88s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:51<00:31, 2.87s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:54<00:28, 2.87s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:57<00:25, 2.86s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [02:00<00:23, 2.88s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [02:03<00:20, 2.88s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [02:06<00:17, 2.87s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:09<00:14, 2.86s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:11<00:11, 2.87s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:14<00:08, 2.86s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:17<00:05, 2.87s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:20<00:02, 2.87s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:23<00:00, 2.87s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 50 200 0.005 DONE NEW LOOP
2%|█████▌ | 1/50 [00:04<03:43, 4.56s/it] 4%|███████████▏ | 2/50 [00:09<03:38, 4.56s/it] 6%|████████████████▊ | 3/50 [00:13<03:33, 4.55s/it] 8%|██████████████████████▍ | 4/50 [00:18<03:29, 4.55s/it] 10%|████████████████████████████ | 5/50 [00:22<03:24, 4.55s/it] 12%|█████████████████████████████████▋ | 6/50 [00:27<03:19, 4.54s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:31<03:15, 4.54s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:36<03:10, 4.54s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:40<03:07, 4.56s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:45<03:02, 4.55s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:49<02:57, 4.54s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:54<02:52, 4.54s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:59<02:47, 4.52s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:03<02:42, 4.52s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:08<02:38, 4.54s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:12<02:34, 4.53s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:17<02:29, 4.53s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:21<02:24, 4.53s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:26<02:20, 4.53s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:30<02:16, 4.54s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:35<02:11, 4.53s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:39<02:07, 4.54s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:44<02:02, 4.54s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:48<01:57, 4.53s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:53<01:53, 4.53s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:57<01:48, 4.53s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [02:02<01:44, 4.53s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [02:06<01:39, 4.52s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [02:11<01:35, 4.53s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:16<01:30, 4.53s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:20<01:26, 4.54s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:25<01:21, 4.54s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:29<01:17, 4.54s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:34<01:12, 4.54s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:38<01:08, 4.56s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:43<01:03, 4.55s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [02:47<00:58, 4.54s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:52<00:54, 4.53s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:56<00:49, 4.53s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [03:01<00:45, 4.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [03:06<00:41, 4.59s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [03:10<00:36, 4.60s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [03:15<00:32, 4.57s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:19<00:27, 4.56s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:24<00:22, 4.55s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:28<00:18, 4.54s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:33<00:13, 4.54s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:37<00:09, 4.53s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:42<00:04, 4.53s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:47<00:00, 4.54s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 400 0.001 DONE
2%|█████▌ | 1/50 [00:02<02:17, 2.80s/it] 4%|███████████▏ | 2/50 [00:05<02:12, 2.77s/it] 6%|████████████████▊ | 3/50 [00:08<02:08, 2.74s/it] 8%|██████████████████████▍ | 4/50 [00:10<02:05, 2.73s/it] 10%|████████████████████████████ | 5/50 [00:13<02:02, 2.72s/it] 12%|█████████████████████████████████▋ | 6/50 [00:16<01:59, 2.71s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:18<01:56, 2.70s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:21<01:53, 2.70s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:24<01:50, 2.69s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:27<01:47, 2.69s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:29<01:44, 2.69s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:32<01:42, 2.69s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:35<01:39, 2.69s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:37<01:37, 2.70s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:40<01:34, 2.69s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:43<01:31, 2.69s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:45<01:28, 2.69s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:48<01:25, 2.68s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:51<01:23, 2.69s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:53<01:20, 2.69s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [00:56<01:18, 2.70s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [00:59<01:15, 2.69s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:01<01:12, 2.70s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:04<01:10, 2.70s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:07<01:07, 2.70s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:10<01:04, 2.69s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:12<01:02, 2.70s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:15<00:59, 2.69s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:18<00:56, 2.69s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:20<00:53, 2.68s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:23<00:51, 2.69s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:26<00:48, 2.69s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:28<00:45, 2.69s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:31<00:43, 2.69s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:34<00:40, 2.70s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:36<00:37, 2.69s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:39<00:34, 2.69s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:42<00:32, 2.68s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:45<00:29, 2.69s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:47<00:27, 2.73s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:50<00:24, 2.71s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [01:53<00:21, 2.71s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [01:55<00:18, 2.70s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [01:58<00:16, 2.71s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:01<00:13, 2.70s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:04<00:10, 2.70s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:06<00:08, 2.70s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:09<00:05, 2.70s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:12<00:02, 2.69s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00, 2.70s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 400 0.001 DONE
2%|█████▌ | 1/50 [00:02<02:06, 2.57s/it] 4%|███████████▏ | 2/50 [00:05<02:02, 2.55s/it] 6%|████████████████▊ | 3/50 [00:07<01:59, 2.54s/it] 8%|██████████████████████▍ | 4/50 [00:10<01:56, 2.54s/it] 10%|████████████████████████████ | 5/50 [00:12<01:54, 2.53s/it] 12%|█████████████████████████████████▋ | 6/50 [00:15<01:51, 2.53s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:17<01:48, 2.53s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:20<01:46, 2.53s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:22<01:43, 2.52s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:25<01:41, 2.53s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:27<01:38, 2.52s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:30<01:35, 2.51s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:32<01:33, 2.51s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:35<01:31, 2.53s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:37<01:28, 2.54s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:40<01:26, 2.54s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:42<01:23, 2.53s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:45<01:20, 2.53s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:48<01:18, 2.53s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:50<01:16, 2.54s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [00:53<01:13, 2.53s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [00:55<01:10, 2.52s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [00:58<01:08, 2.53s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:00<01:05, 2.52s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:03<01:02, 2.51s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:05<01:00, 2.51s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:08<00:57, 2.51s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:10<00:55, 2.52s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:13<00:52, 2.52s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:15<00:50, 2.52s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:18<00:47, 2.52s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:20<00:45, 2.52s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:23<00:42, 2.52s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:25<00:40, 2.51s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:28<00:37, 2.52s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:31<00:35, 2.57s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:33<00:33, 2.56s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:36<00:30, 2.55s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:38<00:27, 2.54s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:41<00:25, 2.54s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:43<00:22, 2.54s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [01:46<00:20, 2.53s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [01:48<00:17, 2.53s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [01:51<00:15, 2.53s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [01:53<00:12, 2.53s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [01:56<00:10, 2.52s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [01:58<00:07, 2.52s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:01<00:05, 2.52s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:03<00:02, 2.52s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00, 2.53s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 50 400 0.001 DONE NEW LOOP
2%|█████▌ | 1/50 [00:04<03:43, 4.56s/it] 4%|███████████▏ | 2/50 [00:09<03:38, 4.55s/it] 6%|████████████████▊ | 3/50 [00:13<03:32, 4.53s/it] 8%|██████████████████████▍ | 4/50 [00:18<03:27, 4.52s/it] 10%|████████████████████████████ | 5/50 [00:22<03:23, 4.51s/it] 12%|█████████████████████████████████▋ | 6/50 [00:27<03:18, 4.51s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:31<03:14, 4.52s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:36<03:09, 4.52s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:40<03:04, 4.51s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:45<03:00, 4.51s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:49<02:55, 4.51s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:54<02:51, 4.52s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:58<02:46, 4.51s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:03<02:42, 4.51s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:07<02:38, 4.52s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:12<02:33, 4.52s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:16<02:29, 4.54s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:21<02:24, 4.53s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:25<02:20, 4.53s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:30<02:15, 4.52s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:34<02:10, 4.52s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:39<02:06, 4.52s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:43<02:01, 4.51s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:48<01:57, 4.51s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:52<01:52, 4.50s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:57<01:48, 4.50s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [02:01<01:43, 4.50s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [02:06<01:39, 4.50s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [02:10<01:34, 4.50s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:15<01:30, 4.51s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:19<01:25, 4.51s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:24<01:21, 4.51s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:28<01:17, 4.53s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:33<01:12, 4.53s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:38<01:08, 4.54s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:42<01:03, 4.52s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [02:47<00:58, 4.52s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:51<00:54, 4.51s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:56<00:49, 4.51s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [03:00<00:44, 4.50s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [03:05<00:40, 4.50s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [03:09<00:36, 4.50s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [03:14<00:31, 4.49s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:18<00:26, 4.50s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:23<00:22, 4.49s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:27<00:17, 4.50s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:32<00:13, 4.50s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:36<00:08, 4.50s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:41<00:04, 4.50s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:45<00:00, 4.51s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 400 0.01 DONE
2%|█████▌ | 1/50 [00:02<02:12, 2.71s/it] 4%|███████████▏ | 2/50 [00:05<02:09, 2.70s/it] 6%|████████████████▊ | 3/50 [00:08<02:06, 2.69s/it] 8%|██████████████████████▍ | 4/50 [00:10<02:03, 2.69s/it] 10%|████████████████████████████ | 5/50 [00:13<02:00, 2.68s/it] 12%|█████████████████████████████████▋ | 6/50 [00:16<01:58, 2.68s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:18<01:55, 2.68s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:21<01:53, 2.69s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:24<01:50, 2.69s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:26<01:47, 2.68s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:29<01:44, 2.69s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:32<01:42, 2.69s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:34<01:39, 2.69s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:37<01:36, 2.68s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:40<01:33, 2.68s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:42<01:31, 2.68s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:45<01:28, 2.69s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:48<01:25, 2.68s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:51<01:23, 2.70s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:53<01:20, 2.69s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [00:56<01:17, 2.69s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [00:59<01:15, 2.68s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:01<01:12, 2.69s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:04<01:10, 2.69s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:07<01:07, 2.69s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:09<01:04, 2.68s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:12<01:01, 2.69s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:15<00:59, 2.68s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:17<00:56, 2.69s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:20<00:53, 2.69s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:23<00:51, 2.70s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:25<00:48, 2.69s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:28<00:45, 2.69s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:31<00:42, 2.69s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:34<00:40, 2.68s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:36<00:37, 2.68s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:39<00:34, 2.68s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:42<00:32, 2.68s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:44<00:29, 2.68s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:47<00:26, 2.69s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:50<00:24, 2.69s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [01:52<00:21, 2.70s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [01:55<00:19, 2.71s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [01:58<00:16, 2.71s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:00<00:13, 2.70s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:03<00:10, 2.70s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:06<00:08, 2.69s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:09<00:05, 2.68s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:11<00:02, 2.69s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00, 2.69s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 400 0.01 DONE
2%|█████▌ | 1/50 [00:02<02:05, 2.57s/it] 4%|███████████▏ | 2/50 [00:05<02:02, 2.56s/it] 6%|████████████████▊ | 3/50 [00:07<01:59, 2.55s/it] 8%|██████████████████████▍ | 4/50 [00:10<01:56, 2.54s/it] 10%|████████████████████████████ | 5/50 [00:12<01:54, 2.54s/it] 12%|█████████████████████████████████▋ | 6/50 [00:15<01:51, 2.53s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:17<01:48, 2.53s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:20<01:46, 2.53s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:22<01:43, 2.52s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:25<01:40, 2.51s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:27<01:38, 2.52s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:30<01:35, 2.53s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:32<01:33, 2.53s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:35<01:30, 2.52s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:37<01:28, 2.53s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:40<01:25, 2.52s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:42<01:23, 2.53s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:45<01:20, 2.53s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:47<01:18, 2.53s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:50<01:15, 2.53s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [00:53<01:13, 2.52s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [00:55<01:10, 2.52s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [00:58<01:08, 2.52s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:00<01:05, 2.53s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:03<01:03, 2.53s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:05<01:00, 2.53s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:08<00:58, 2.54s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:10<00:55, 2.54s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:13<00:53, 2.53s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:15<00:50, 2.53s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:18<00:47, 2.52s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:20<00:45, 2.52s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:23<00:42, 2.51s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:25<00:40, 2.51s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:28<00:37, 2.52s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:30<00:35, 2.53s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:33<00:32, 2.53s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:36<00:30, 2.54s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:38<00:27, 2.54s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:41<00:25, 2.54s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:43<00:22, 2.52s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [01:46<00:20, 2.52s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [01:48<00:17, 2.52s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [01:51<00:15, 2.52s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [01:53<00:12, 2.52s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [01:56<00:10, 2.52s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [01:58<00:07, 2.52s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:01<00:05, 2.52s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:03<00:02, 2.52s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00, 2.53s/it] 0%| | 0/50 [00:00<?, ?it/s]
SGD 50 400 0.01 DONE NEW LOOP
2%|█████▌ | 1/50 [00:04<03:43, 4.56s/it] 4%|███████████▏ | 2/50 [00:09<03:37, 4.54s/it] 6%|████████████████▊ | 3/50 [00:13<03:33, 4.54s/it] 8%|██████████████████████▍ | 4/50 [00:18<03:27, 4.52s/it] 10%|████████████████████████████ | 5/50 [00:22<03:23, 4.53s/it] 12%|█████████████████████████████████▋ | 6/50 [00:27<03:19, 4.52s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:31<03:14, 4.52s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:36<03:09, 4.52s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:40<03:04, 4.51s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:45<03:00, 4.52s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:49<02:55, 4.51s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:54<02:51, 4.51s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:58<02:46, 4.51s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [01:03<02:42, 4.52s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [01:07<02:38, 4.53s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [01:12<02:33, 4.52s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [01:16<02:29, 4.52s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [01:21<02:24, 4.51s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [01:25<02:19, 4.50s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [01:30<02:15, 4.51s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [01:34<02:10, 4.51s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [01:39<02:06, 4.50s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:43<02:01, 4.51s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:48<01:57, 4.51s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:52<01:52, 4.51s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:57<01:48, 4.51s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [02:01<01:44, 4.53s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [02:06<01:39, 4.53s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [02:10<01:34, 4.52s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [02:15<01:30, 4.52s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [02:19<01:25, 4.51s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [02:24<01:21, 4.54s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [02:29<01:16, 4.52s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [02:33<01:12, 4.51s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [02:38<01:07, 4.51s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [02:42<01:02, 4.49s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [02:47<00:58, 4.50s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [02:51<00:53, 4.49s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [02:55<00:49, 4.49s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [03:00<00:44, 4.49s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [03:05<00:40, 4.50s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [03:09<00:36, 4.52s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [03:14<00:31, 4.51s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [03:18<00:27, 4.51s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [03:23<00:22, 4.51s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [03:27<00:18, 4.51s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [03:32<00:13, 4.52s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [03:36<00:09, 4.51s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [03:41<00:04, 4.51s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:45<00:00, 4.51s/it] 0%| | 0/50 [00:00<?, ?it/s]
NADAM 50 400 0.005 DONE
2%|█████▌ | 1/50 [00:02<02:12, 2.70s/it] 4%|███████████▏ | 2/50 [00:05<02:09, 2.69s/it] 6%|████████████████▊ | 3/50 [00:08<02:06, 2.69s/it] 8%|██████████████████████▍ | 4/50 [00:10<02:04, 2.70s/it] 10%|████████████████████████████ | 5/50 [00:13<02:01, 2.70s/it] 12%|█████████████████████████████████▋ | 6/50 [00:16<01:58, 2.70s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:18<01:56, 2.70s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:21<01:53, 2.69s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:24<01:49, 2.68s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:26<01:47, 2.68s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:29<01:44, 2.68s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:32<01:41, 2.68s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:34<01:39, 2.68s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:37<01:37, 2.70s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:40<01:34, 2.71s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:43<01:31, 2.70s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:45<01:28, 2.69s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:48<01:26, 2.69s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:51<01:23, 2.69s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:53<01:20, 2.69s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [00:56<01:17, 2.69s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [00:59<01:15, 2.69s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [01:01<01:12, 2.69s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:04<01:09, 2.69s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:07<01:07, 2.68s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:09<01:04, 2.69s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:12<01:01, 2.69s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:15<00:59, 2.70s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:18<00:56, 2.69s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:20<00:53, 2.70s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:23<00:51, 2.69s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:26<00:48, 2.69s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:28<00:45, 2.69s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:31<00:42, 2.69s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:34<00:40, 2.68s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:36<00:37, 2.69s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:39<00:34, 2.69s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:42<00:32, 2.69s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:44<00:29, 2.68s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:47<00:26, 2.69s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:50<00:24, 2.69s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [01:52<00:21, 2.69s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [01:55<00:18, 2.68s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [01:58<00:16, 2.69s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [02:01<00:13, 2.68s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [02:03<00:10, 2.68s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [02:06<00:08, 2.67s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:09<00:05, 2.69s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:11<00:02, 2.70s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00, 2.69s/it] 0%| | 0/50 [00:00<?, ?it/s]
ADAM 50 400 0.005 DONE
2%|█████▌ | 1/50 [00:02<02:04, 2.54s/it] 4%|███████████▏ | 2/50 [00:05<02:01, 2.53s/it] 6%|████████████████▊ | 3/50 [00:07<01:59, 2.54s/it] 8%|██████████████████████▍ | 4/50 [00:10<01:56, 2.53s/it] 10%|████████████████████████████ | 5/50 [00:12<01:53, 2.52s/it] 12%|█████████████████████████████████▋ | 6/50 [00:15<01:50, 2.52s/it] 14%|███████████████████████████████████████▎ | 7/50 [00:17<01:48, 2.53s/it] 16%|████████████████████████████████████████████▉ | 8/50 [00:20<01:47, 2.56s/it] 18%|██████████████████████████████████████████████████▌ | 9/50 [00:22<01:45, 2.56s/it] 20%|████████████████████████████████████████████████████████ | 10/50 [00:25<01:41, 2.55s/it] 22%|█████████████████████████████████████████████████████████████▌ | 11/50 [00:27<01:39, 2.55s/it] 24%|███████████████████████████████████████████████████████████████████▏ | 12/50 [00:30<01:36, 2.55s/it] 26%|████████████████████████████████████████████████████████████████████████▊ | 13/50 [00:33<01:33, 2.54s/it] 28%|██████████████████████████████████████████████████████████████████████████████▍ | 14/50 [00:35<01:31, 2.53s/it] 30%|████████████████████████████████████████████████████████████████████████████████████ | 15/50 [00:38<01:28, 2.53s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 16/50 [00:40<01:25, 2.53s/it] 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 17/50 [00:43<01:23, 2.53s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 18/50 [00:45<01:20, 2.52s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 19/50 [00:48<01:18, 2.52s/it] 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 20/50 [00:50<01:15, 2.52s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/50 [00:53<01:13, 2.52s/it] 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 22/50 [00:55<01:10, 2.53s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 23/50 [00:58<01:08, 2.53s/it] 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 24/50 [01:00<01:05, 2.53s/it] 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 25/50 [01:03<01:03, 2.53s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/50 [01:05<01:00, 2.52s/it] 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 27/50 [01:08<00:57, 2.52s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 28/50 [01:10<00:55, 2.52s/it] 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/50 [01:13<00:52, 2.52s/it] 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 30/50 [01:15<00:50, 2.52s/it] 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/50 [01:18<00:47, 2.52s/it] 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 32/50 [01:20<00:45, 2.51s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 33/50 [01:23<00:42, 2.53s/it] 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/50 [01:25<00:40, 2.52s/it] 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 35/50 [01:28<00:37, 2.52s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 36/50 [01:30<00:35, 2.52s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/50 [01:33<00:32, 2.52s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/50 [01:36<00:30, 2.52s/it] 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 39/50 [01:38<00:27, 2.52s/it] 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 40/50 [01:41<00:25, 2.51s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 41/50 [01:43<00:22, 2.51s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/50 [01:46<00:20, 2.51s/it] 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/50 [01:48<00:17, 2.51s/it] 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 44/50 [01:51<00:15, 2.52s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 45/50 [01:53<00:12, 2.52s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 46/50 [01:56<00:10, 2.52s/it] 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/50 [01:58<00:07, 2.52s/it] 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 48/50 [02:01<00:05, 2.52s/it] 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 49/50 [02:03<00:02, 2.51s/it] 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00, 2.52s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 50 400 0.005 DONE NEW LOOP
1%|██▊ | 1/100 [00:11<19:34, 11.86s/it] 2%|█████▌ | 2/100 [00:23<19:23, 11.87s/it] 3%|████████▍ | 3/100 [00:35<19:11, 11.87s/it] 4%|███████████▏ | 4/100 [00:47<18:58, 11.86s/it] 5%|██████████████ | 5/100 [00:59<18:45, 11.84s/it] 6%|████████████████▊ | 6/100 [01:11<18:32, 11.83s/it] 7%|███████████████████▌ | 7/100 [01:22<18:21, 11.85s/it] 8%|██████████████████████▍ | 8/100 [01:34<18:08, 11.83s/it] 9%|█████████████████████████▏ | 9/100 [01:46<17:55, 11.82s/it] 10%|███████████████████████████▉ | 10/100 [01:58<17:42, 11.81s/it] 11%|██████████████████████████████▋ | 11/100 [02:10<17:28, 11.78s/it] 12%|█████████████████████████████████▍ | 12/100 [02:21<17:19, 11.81s/it] 13%|████████████████████████████████████▎ | 13/100 [02:33<17:07, 11.81s/it] 14%|███████████████████████████████████████ | 14/100 [02:45<16:57, 11.83s/it] 15%|█████████████████████████████████████████▊ | 15/100 [02:57<16:43, 11.81s/it] 16%|████████████████████████████████████████████▋ | 16/100 [03:09<16:32, 11.81s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [03:20<16:18, 11.79s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [03:32<16:06, 11.78s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [03:44<15:54, 11.78s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [03:56<15:43, 11.80s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [04:08<15:32, 11.81s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [04:19<15:19, 11.79s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [04:31<15:07, 11.79s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [04:43<14:54, 11.77s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [04:55<14:41, 11.76s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [05:06<14:32, 11.79s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [05:18<14:19, 11.77s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [05:30<14:06, 11.76s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [05:42<13:54, 11.75s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [05:53<13:42, 11.75s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [06:05<13:30, 11.75s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [06:17<13:19, 11.76s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [06:29<13:08, 11.77s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [06:41<12:57, 11.77s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [06:52<12:44, 11.76s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [07:04<12:33, 11.77s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [07:16<12:21, 11.77s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [07:28<12:10, 11.78s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [07:39<11:58, 11.78s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [07:51<11:46, 11.77s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [08:03<11:34, 11.78s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [08:15<11:22, 11.76s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [08:26<11:11, 11.78s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [08:38<11:01, 11.81s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [08:50<10:50, 11.83s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [09:02<10:39, 11.84s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [09:14<10:25, 11.81s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [09:26<10:13, 11.81s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [09:37<10:01, 11.79s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [09:49<09:50, 11.81s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [10:01<09:38, 11.80s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [10:13<09:25, 11.78s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [10:25<09:13, 11.78s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [10:36<09:00, 11.74s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [10:48<08:48, 11.75s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [11:00<08:38, 11.77s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [11:12<08:26, 11.77s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [11:23<08:13, 11.76s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [11:35<08:02, 11.76s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [11:47<07:49, 11.75s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [11:58<07:37, 11.73s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [12:10<07:26, 11.74s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [12:22<07:15, 11.78s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [12:34<07:03, 11.77s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [12:46<06:51, 11.76s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [12:57<06:39, 11.75s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [13:09<06:27, 11.76s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [13:21<06:18, 11.81s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [13:33<06:05, 11.80s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [13:45<05:53, 11.80s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [13:56<05:42, 11.80s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [14:08<05:30, 11.80s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [14:20<05:18, 11.81s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [14:32<05:06, 11.78s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [14:43<04:54, 11.77s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [14:55<04:42, 11.78s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [15:07<04:31, 11.83s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [15:19<04:19, 11.80s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [15:31<04:07, 11.79s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [15:42<03:55, 11.78s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [15:54<03:43, 11.77s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [16:06<03:31, 11.75s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [16:18<03:19, 11.76s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [16:30<03:08, 11.79s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [16:41<02:56, 11.77s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [16:53<02:44, 11.76s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [17:05<02:33, 11.78s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [17:17<02:21, 11.77s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [17:28<02:09, 11.77s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [17:40<01:57, 11.76s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [17:52<01:45, 11.76s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [18:04<01:33, 11.74s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [18:15<01:22, 11.74s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [18:27<01:10, 11.76s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [18:39<00:58, 11.77s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [18:51<00:47, 11.78s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [19:02<00:35, 11.78s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [19:14<00:23, 11.77s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [19:26<00:11, 11.78s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:38<00:00, 11.78s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 100 0.001 DONE
1%|██▊ | 1/100 [00:04<07:43, 4.69s/it] 2%|█████▌ | 2/100 [00:09<07:42, 4.71s/it] 3%|████████▍ | 3/100 [00:14<07:37, 4.72s/it] 4%|███████████▏ | 4/100 [00:18<07:31, 4.71s/it] 5%|██████████████ | 5/100 [00:23<07:27, 4.71s/it] 6%|████████████████▊ | 6/100 [00:28<07:23, 4.72s/it] 7%|███████████████████▌ | 7/100 [00:33<07:18, 4.71s/it] 8%|██████████████████████▍ | 8/100 [00:37<07:14, 4.72s/it] 9%|█████████████████████████▏ | 9/100 [00:42<07:10, 4.73s/it] 10%|███████████████████████████▉ | 10/100 [00:47<07:03, 4.71s/it] 11%|██████████████████████████████▋ | 11/100 [00:51<07:01, 4.73s/it] 12%|█████████████████████████████████▍ | 12/100 [00:56<06:57, 4.74s/it] 13%|████████████████████████████████████▎ | 13/100 [01:01<06:51, 4.73s/it] 14%|███████████████████████████████████████ | 14/100 [01:06<06:46, 4.73s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:10<06:42, 4.74s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:15<06:37, 4.73s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:20<06:32, 4.73s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:25<06:27, 4.73s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:29<06:23, 4.74s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:34<06:20, 4.76s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:39<06:15, 4.75s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:44<06:10, 4.75s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:48<06:03, 4.72s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:53<05:57, 4.71s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:58<05:54, 4.72s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [02:02<05:48, 4.71s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [02:07<05:43, 4.70s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [02:12<05:38, 4.70s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [02:17<05:34, 4.70s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:21<05:28, 4.69s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:26<05:24, 4.71s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:31<05:20, 4.71s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:35<05:15, 4.71s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:40<05:10, 4.71s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:45<05:05, 4.70s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:50<05:02, 4.72s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:54<04:58, 4.73s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:59<04:51, 4.70s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [03:04<04:47, 4.72s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [03:08<04:42, 4.71s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [03:13<04:39, 4.73s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [03:18<04:34, 4.73s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [03:23<04:28, 4.71s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [03:27<04:22, 4.70s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:32<04:18, 4.71s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:37<04:14, 4.72s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:41<04:10, 4.73s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:46<04:04, 4.71s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:51<04:00, 4.71s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:55<03:55, 4.71s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [04:00<03:50, 4.70s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [04:05<03:45, 4.70s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [04:10<03:41, 4.72s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [04:14<03:37, 4.72s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [04:19<03:32, 4.72s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [04:24<03:27, 4.72s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [04:29<03:22, 4.72s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [04:33<03:17, 4.71s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:38<03:13, 4.72s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:43<03:08, 4.70s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:47<03:03, 4.71s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:52<02:58, 4.70s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:57<02:53, 4.69s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [05:01<02:49, 4.71s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [05:06<02:45, 4.72s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [05:11<02:40, 4.73s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [05:16<02:35, 4.72s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [05:20<02:31, 4.73s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [05:25<02:26, 4.74s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [05:30<02:21, 4.72s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [05:35<02:17, 4.73s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [05:39<02:12, 4.72s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [05:44<02:07, 4.72s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:49<02:02, 4.72s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:53<01:58, 4.72s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:58<01:53, 4.72s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [06:03<01:48, 4.73s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [06:08<01:43, 4.72s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [06:12<01:39, 4.72s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [06:17<01:34, 4.73s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [06:22<01:29, 4.73s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [06:26<01:24, 4.71s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [06:31<01:19, 4.70s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [06:36<01:15, 4.71s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [06:41<01:10, 4.73s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [06:45<01:06, 4.73s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [06:50<01:01, 4.71s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [06:55<00:56, 4.71s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [06:59<00:51, 4.71s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [07:04<00:47, 4.73s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [07:09<00:42, 4.72s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [07:14<00:37, 4.73s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [07:18<00:33, 4.72s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [07:23<00:28, 4.73s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [07:28<00:23, 4.72s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [07:33<00:18, 4.72s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [07:37<00:14, 4.72s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [07:42<00:09, 4.70s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [07:47<00:04, 4.70s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:51<00:00, 4.72s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 100 0.001 DONE
1%|██▊ | 1/100 [00:04<07:00, 4.25s/it] 2%|█████▌ | 2/100 [00:08<06:51, 4.20s/it] 3%|████████▍ | 3/100 [00:12<06:44, 4.17s/it] 4%|███████████▏ | 4/100 [00:16<06:39, 4.16s/it] 5%|██████████████ | 5/100 [00:20<06:33, 4.14s/it] 6%|████████████████▊ | 6/100 [00:24<06:30, 4.15s/it] 7%|███████████████████▌ | 7/100 [00:28<06:24, 4.13s/it] 8%|██████████████████████▍ | 8/100 [00:33<06:19, 4.12s/it] 9%|█████████████████████████▏ | 9/100 [00:37<06:15, 4.13s/it] 10%|███████████████████████████▉ | 10/100 [00:41<06:10, 4.12s/it] 11%|██████████████████████████████▋ | 11/100 [00:45<06:05, 4.11s/it] 12%|█████████████████████████████████▍ | 12/100 [00:49<06:04, 4.15s/it] 13%|████████████████████████████████████▎ | 13/100 [00:53<06:01, 4.16s/it] 14%|███████████████████████████████████████ | 14/100 [00:57<05:55, 4.13s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:01<05:51, 4.14s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:06<05:47, 4.14s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:10<05:41, 4.12s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:14<05:36, 4.10s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:18<05:30, 4.08s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:22<05:28, 4.10s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:26<05:24, 4.11s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:30<05:20, 4.11s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:34<05:16, 4.11s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:38<05:11, 4.10s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:42<05:06, 4.09s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:46<05:00, 4.07s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:51<04:57, 4.07s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:55<04:53, 4.07s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:59<04:49, 4.07s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:03<04:45, 4.08s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:07<04:42, 4.09s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:11<04:37, 4.08s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:15<04:33, 4.08s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:19<04:29, 4.09s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:23<04:26, 4.10s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:27<04:23, 4.12s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:32<04:18, 4.11s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:36<04:14, 4.11s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:40<04:11, 4.13s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [02:44<04:08, 4.14s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [02:48<04:04, 4.14s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [02:52<03:59, 4.12s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:56<03:54, 4.12s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [03:00<03:51, 4.13s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:04<03:45, 4.10s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:09<03:41, 4.09s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:13<03:38, 4.12s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:17<03:33, 4.11s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:21<03:28, 4.09s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:25<03:26, 4.12s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [03:29<03:22, 4.14s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [03:33<03:17, 4.12s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [03:37<03:12, 4.10s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [03:41<03:08, 4.09s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [03:46<03:04, 4.09s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [03:50<02:59, 4.09s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [03:54<02:55, 4.08s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [03:58<02:51, 4.08s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:02<02:47, 4.08s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:06<02:42, 4.07s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:10<02:38, 4.06s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:14<02:35, 4.09s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:18<02:31, 4.10s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [04:22<02:27, 4.09s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [04:26<02:23, 4.10s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [04:31<02:19, 4.10s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [04:35<02:14, 4.08s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [04:39<02:10, 4.09s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [04:43<02:06, 4.08s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [04:47<02:02, 4.09s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [04:51<01:58, 4.08s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [04:55<01:54, 4.10s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [04:59<01:50, 4.09s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:03<01:46, 4.09s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:07<01:42, 4.08s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:11<01:37, 4.06s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [05:15<01:33, 4.08s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [05:19<01:29, 4.07s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [05:24<01:25, 4.07s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [05:28<01:21, 4.09s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [05:32<01:17, 4.07s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [05:36<01:13, 4.08s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [05:40<01:09, 4.07s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [05:44<01:05, 4.08s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [05:48<01:01, 4.09s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [05:52<00:57, 4.08s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [05:56<00:53, 4.08s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [06:00<00:48, 4.08s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [06:04<00:44, 4.09s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [06:09<00:41, 4.11s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [06:13<00:36, 4.09s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [06:17<00:32, 4.09s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [06:21<00:28, 4.09s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [06:25<00:24, 4.07s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [06:29<00:20, 4.09s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [06:33<00:16, 4.10s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [06:37<00:12, 4.08s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [06:41<00:08, 4.07s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [06:45<00:04, 4.07s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:49<00:00, 4.10s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 100 100 0.001 DONE NEW LOOP
1%|██▊ | 1/100 [00:11<19:28, 11.80s/it] 2%|█████▌ | 2/100 [00:23<19:14, 11.78s/it] 3%|████████▍ | 3/100 [00:35<18:58, 11.74s/it] 4%|███████████▏ | 4/100 [00:47<18:50, 11.78s/it] 5%|██████████████ | 5/100 [00:58<18:37, 11.76s/it] 6%|████████████████▊ | 6/100 [01:10<18:23, 11.74s/it] 7%|███████████████████▌ | 7/100 [01:22<18:12, 11.75s/it] 8%|██████████████████████▍ | 8/100 [01:34<18:02, 11.76s/it] 9%|█████████████████████████▏ | 9/100 [01:45<17:47, 11.73s/it] 10%|███████████████████████████▉ | 10/100 [01:57<17:37, 11.75s/it] 11%|██████████████████████████████▋ | 11/100 [02:09<17:23, 11.72s/it] 12%|█████████████████████████████████▍ | 12/100 [02:20<17:09, 11.70s/it] 13%|████████████████████████████████████▎ | 13/100 [02:32<16:56, 11.69s/it] 14%|███████████████████████████████████████ | 14/100 [02:44<16:43, 11.67s/it] 15%|█████████████████████████████████████████▊ | 15/100 [02:55<16:31, 11.66s/it] 16%|████████████████████████████████████████████▋ | 16/100 [03:07<16:19, 11.66s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [03:19<16:10, 11.69s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [03:30<15:59, 11.70s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [03:42<15:47, 11.70s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [03:54<15:35, 11.69s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [04:05<15:24, 11.71s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [04:17<15:12, 11.70s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [04:29<15:08, 11.80s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [04:41<14:53, 11.75s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [04:52<14:38, 11.72s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [05:04<14:25, 11.69s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [05:16<14:12, 11.67s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [05:27<14:01, 11.68s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [05:39<13:50, 11.69s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [05:51<13:37, 11.68s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [06:02<13:25, 11.68s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [06:14<13:13, 11.67s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [06:26<13:00, 11.65s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [06:37<12:48, 11.65s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [06:49<12:36, 11.64s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [07:01<12:29, 11.71s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [07:12<12:16, 11.68s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [07:24<12:05, 11.70s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [07:36<11:52, 11.69s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [07:47<11:39, 11.66s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [07:59<11:30, 11.71s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [08:11<11:18, 11.70s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [08:23<11:05, 11.68s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [08:34<10:53, 11.67s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [08:46<10:42, 11.67s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [08:58<10:30, 11.67s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [09:10<10:22, 11.75s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [09:21<10:08, 11.71s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [09:33<09:55, 11.69s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [09:44<09:42, 11.66s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [09:56<09:31, 11.67s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [10:08<09:20, 11.68s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [10:19<09:08, 11.67s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [10:31<08:57, 11.67s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [10:43<08:46, 11.69s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [10:54<08:33, 11.68s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [11:06<08:21, 11.66s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [11:18<08:09, 11.65s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [11:29<07:58, 11.68s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [11:41<07:46, 11.67s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [11:53<07:34, 11.66s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [12:05<07:24, 11.71s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [12:16<07:12, 11.70s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [12:28<07:01, 11.70s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [12:40<06:49, 11.69s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [12:51<06:37, 11.69s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [13:03<06:25, 11.67s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [13:15<06:13, 11.68s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [13:26<06:02, 11.70s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [13:38<05:51, 11.71s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [13:50<05:39, 11.69s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [14:01<05:27, 11.70s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [14:13<05:15, 11.69s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [14:25<05:03, 11.66s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [14:36<04:51, 11.67s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [14:48<04:40, 11.67s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [15:00<04:28, 11.69s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [15:12<04:17, 11.69s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [15:23<04:05, 11.69s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [15:35<03:53, 11.69s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [15:47<03:42, 11.72s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [15:58<03:31, 11.73s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [16:10<03:19, 11.72s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [16:22<03:07, 11.70s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [16:33<02:55, 11.68s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [16:45<02:43, 11.69s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [16:57<02:31, 11.68s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [17:08<02:20, 11.68s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [17:20<02:08, 11.68s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [17:32<01:56, 11.68s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [17:43<01:44, 11.64s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [17:55<01:32, 11.62s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [18:07<01:21, 11.63s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [18:18<01:09, 11.62s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [18:30<00:58, 11.65s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [18:42<00:46, 11.64s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [18:53<00:34, 11.65s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [19:05<00:23, 11.65s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [19:16<00:11, 11.64s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:28<00:00, 11.69s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 100 0.01 DONE
1%|██▊ | 1/100 [00:04<07:52, 4.78s/it] 2%|█████▌ | 2/100 [00:09<07:46, 4.77s/it] 3%|████████▍ | 3/100 [00:14<07:39, 4.74s/it] 4%|███████████▏ | 4/100 [00:18<07:33, 4.72s/it] 5%|██████████████ | 5/100 [00:23<07:29, 4.73s/it] 6%|████████████████▊ | 6/100 [00:28<07:24, 4.73s/it] 7%|███████████████████▌ | 7/100 [00:33<07:19, 4.72s/it] 8%|██████████████████████▍ | 8/100 [00:37<07:15, 4.73s/it] 9%|█████████████████████████▏ | 9/100 [00:42<07:10, 4.73s/it] 10%|███████████████████████████▉ | 10/100 [00:47<07:04, 4.72s/it] 11%|██████████████████████████████▋ | 11/100 [00:51<07:00, 4.73s/it] 12%|█████████████████████████████████▍ | 12/100 [00:56<06:56, 4.74s/it] 13%|████████████████████████████████████▎ | 13/100 [01:01<06:50, 4.72s/it] 14%|███████████████████████████████████████ | 14/100 [01:06<06:45, 4.71s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:10<06:43, 4.74s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:15<06:37, 4.73s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:20<06:32, 4.73s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:24<06:25, 4.71s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:29<06:21, 4.71s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:34<06:16, 4.71s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:39<06:11, 4.71s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:43<06:07, 4.71s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:48<06:03, 4.72s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:53<06:00, 4.74s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:57<05:52, 4.70s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [02:02<05:47, 4.70s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [02:07<05:42, 4.69s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [02:12<05:38, 4.70s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [02:16<05:35, 4.72s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:21<05:29, 4.71s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:26<05:25, 4.71s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:30<05:20, 4.71s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:35<05:16, 4.72s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:40<05:10, 4.71s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:45<05:05, 4.70s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:49<05:01, 4.72s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:54<04:56, 4.71s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:59<04:52, 4.73s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [03:03<04:46, 4.70s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [03:08<04:42, 4.71s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [03:13<04:37, 4.71s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [03:18<04:33, 4.72s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [03:22<04:28, 4.71s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [03:27<04:23, 4.70s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:32<04:18, 4.70s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:36<04:13, 4.70s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:41<04:09, 4.70s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:46<04:04, 4.70s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:51<04:00, 4.71s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:55<03:56, 4.72s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [04:00<03:50, 4.71s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [04:05<03:46, 4.71s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [04:09<03:41, 4.70s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [04:14<03:36, 4.70s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [04:19<03:30, 4.69s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [04:23<03:26, 4.69s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [04:28<03:22, 4.71s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [04:33<03:18, 4.72s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:38<03:14, 4.74s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:42<03:08, 4.71s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:47<03:03, 4.71s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:52<02:59, 4.71s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:56<02:54, 4.72s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [05:01<02:49, 4.70s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [05:06<02:43, 4.68s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [05:10<02:39, 4.69s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [05:15<02:34, 4.69s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [05:20<02:30, 4.69s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [05:24<02:25, 4.68s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [05:29<02:20, 4.68s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [05:34<02:16, 4.69s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [05:39<02:11, 4.69s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [05:43<02:06, 4.68s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:48<02:01, 4.68s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:53<01:56, 4.67s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:57<01:52, 4.68s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [06:02<01:48, 4.70s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [06:07<01:43, 4.70s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [06:11<01:38, 4.70s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [06:16<01:34, 4.70s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [06:21<01:29, 4.70s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [06:25<01:24, 4.68s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [06:30<01:19, 4.70s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [06:35<01:15, 4.70s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [06:40<01:10, 4.70s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [06:44<01:05, 4.68s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [06:49<01:01, 4.69s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [06:54<00:56, 4.69s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [06:58<00:51, 4.69s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [07:03<00:46, 4.69s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [07:08<00:42, 4.68s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [07:12<00:37, 4.70s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [07:17<00:32, 4.70s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [07:22<00:28, 4.69s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [07:27<00:23, 4.70s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [07:31<00:18, 4.71s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [07:36<00:14, 4.71s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [07:41<00:09, 4.71s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [07:45<00:04, 4.72s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:50<00:00, 4.71s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 100 0.01 DONE
1%|██▊ | 1/100 [00:04<06:43, 4.07s/it] 2%|█████▌ | 2/100 [00:08<06:40, 4.09s/it] 3%|████████▍ | 3/100 [00:12<06:35, 4.08s/it] 4%|███████████▏ | 4/100 [00:16<06:30, 4.07s/it] 5%|██████████████ | 5/100 [00:20<06:28, 4.09s/it] 6%|████████████████▊ | 6/100 [00:24<06:24, 4.09s/it] 7%|███████████████████▌ | 7/100 [00:28<06:21, 4.10s/it] 8%|██████████████████████▍ | 8/100 [00:32<06:17, 4.10s/it] 9%|█████████████████████████▏ | 9/100 [00:36<06:13, 4.10s/it] 10%|███████████████████████████▉ | 10/100 [00:40<06:09, 4.11s/it] 11%|██████████████████████████████▋ | 11/100 [00:45<06:05, 4.10s/it] 12%|█████████████████████████████████▍ | 12/100 [00:49<06:01, 4.11s/it] 13%|████████████████████████████████████▎ | 13/100 [00:53<05:56, 4.10s/it] 14%|███████████████████████████████████████ | 14/100 [00:57<05:52, 4.10s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:01<05:49, 4.11s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:05<05:44, 4.10s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:09<05:40, 4.10s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:13<05:36, 4.10s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:17<05:29, 4.07s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:21<05:25, 4.07s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:25<05:22, 4.08s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:29<05:17, 4.07s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:34<05:14, 4.08s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:38<05:10, 4.09s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:42<05:06, 4.09s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:46<05:03, 4.10s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:50<04:58, 4.09s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:54<04:53, 4.08s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:58<04:51, 4.11s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:02<04:47, 4.11s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:06<04:43, 4.10s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:10<04:37, 4.08s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:15<04:33, 4.08s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:19<04:29, 4.09s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:23<04:24, 4.08s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:27<04:19, 4.06s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:31<04:16, 4.07s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:35<04:12, 4.08s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:39<04:09, 4.09s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [02:43<04:05, 4.09s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [02:47<04:00, 4.08s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [02:51<03:56, 4.07s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:55<03:51, 4.06s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [02:59<03:47, 4.07s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:03<03:44, 4.08s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:08<03:40, 4.08s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:12<03:35, 4.07s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:16<03:30, 4.05s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:20<03:27, 4.07s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:24<03:24, 4.08s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [03:28<03:20, 4.09s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [03:32<03:16, 4.09s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [03:36<03:13, 4.12s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [03:40<03:08, 4.09s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [03:44<03:03, 4.08s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [03:48<02:59, 4.09s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [03:52<02:55, 4.08s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [03:57<02:51, 4.09s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:01<02:48, 4.11s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:05<02:44, 4.11s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:09<02:40, 4.12s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:13<02:36, 4.13s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:17<02:33, 4.15s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [04:21<02:28, 4.12s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [04:25<02:23, 4.11s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [04:30<02:19, 4.11s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [04:34<02:15, 4.09s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [04:38<02:11, 4.10s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [04:42<02:07, 4.10s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [04:46<02:02, 4.09s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [04:50<01:58, 4.09s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [04:54<01:54, 4.09s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [04:58<01:50, 4.09s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:02<01:46, 4.09s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:06<01:42, 4.08s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:10<01:37, 4.07s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [05:14<01:33, 4.08s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [05:19<01:29, 4.08s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [05:23<01:25, 4.06s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [05:27<01:21, 4.07s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [05:31<01:17, 4.07s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [05:35<01:13, 4.06s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [05:39<01:08, 4.06s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [05:43<01:05, 4.07s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [05:47<01:00, 4.07s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [05:51<00:56, 4.06s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [05:55<00:52, 4.07s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [05:59<00:48, 4.05s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [06:03<00:44, 4.07s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [06:07<00:40, 4.08s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [06:11<00:36, 4.07s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [06:15<00:32, 4.08s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [06:20<00:28, 4.09s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [06:24<00:24, 4.09s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [06:28<00:20, 4.09s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [06:32<00:16, 4.10s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [06:36<00:12, 4.10s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [06:40<00:08, 4.12s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [06:44<00:04, 4.13s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:48<00:00, 4.09s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 100 100 0.01 DONE NEW LOOP
1%|██▊ | 1/100 [00:11<19:37, 11.90s/it] 2%|█████▌ | 2/100 [00:23<19:28, 11.92s/it] 3%|████████▍ | 3/100 [00:35<19:09, 11.85s/it] 4%|███████████▏ | 4/100 [00:47<18:54, 11.82s/it] 5%|██████████████ | 5/100 [00:59<18:39, 11.79s/it] 6%|████████████████▊ | 6/100 [01:10<18:28, 11.79s/it] 7%|███████████████████▌ | 7/100 [01:22<18:14, 11.77s/it] 8%|██████████████████████▍ | 8/100 [01:34<18:04, 11.79s/it] 9%|█████████████████████████▏ | 9/100 [01:46<17:49, 11.75s/it] 10%|███████████████████████████▉ | 10/100 [01:57<17:36, 11.74s/it] 11%|██████████████████████████████▋ | 11/100 [02:09<17:23, 11.72s/it] 12%|█████████████████████████████████▍ | 12/100 [02:21<17:11, 11.72s/it] 13%|████████████████████████████████████▎ | 13/100 [02:32<16:58, 11.71s/it] 14%|███████████████████████████████████████ | 14/100 [02:44<16:46, 11.70s/it] 15%|█████████████████████████████████████████▊ | 15/100 [02:56<16:33, 11.69s/it] 16%|████████████████████████████████████████████▋ | 16/100 [03:07<16:21, 11.68s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [03:19<16:09, 11.69s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [03:31<15:58, 11.69s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [03:42<15:46, 11.69s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [03:54<15:36, 11.71s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [04:06<15:26, 11.72s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [04:18<15:11, 11.68s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [04:29<14:58, 11.68s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [04:41<14:47, 11.67s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [04:53<14:36, 11.69s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [05:04<14:28, 11.74s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [05:16<14:17, 11.75s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [05:28<14:05, 11.74s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [05:40<13:51, 11.71s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [05:51<13:40, 11.72s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [06:03<13:27, 11.70s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [06:15<13:14, 11.68s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [06:26<13:00, 11.65s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [06:38<12:51, 11.70s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [06:50<12:39, 11.69s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [07:01<12:27, 11.68s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [07:13<12:15, 11.68s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [07:25<12:04, 11.68s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [07:36<11:51, 11.66s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [07:48<11:41, 11.69s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [08:00<11:29, 11.69s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [08:11<11:16, 11.67s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [08:23<11:04, 11.67s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [08:35<10:54, 11.69s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [08:46<10:41, 11.67s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [08:58<10:29, 11.65s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [09:10<10:19, 11.68s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [09:21<10:07, 11.68s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [09:33<09:55, 11.68s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [09:45<09:43, 11.68s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [09:57<09:34, 11.72s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [10:08<09:22, 11.72s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [10:20<09:11, 11.73s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [10:32<08:57, 11.69s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [10:43<08:45, 11.68s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [10:55<08:33, 11.67s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [11:07<08:22, 11.68s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [11:18<08:10, 11.68s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [11:30<07:59, 11.70s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [11:42<07:47, 11.70s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [11:54<07:36, 11.71s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [12:05<07:25, 11.72s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [12:17<07:13, 11.71s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [12:29<07:01, 11.71s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [12:40<06:49, 11.69s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [12:52<06:37, 11.69s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [13:04<06:25, 11.67s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [13:15<06:12, 11.66s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [13:27<06:01, 11.67s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [13:39<05:49, 11.66s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [13:50<05:39, 11.70s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [14:02<05:27, 11.70s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [14:14<05:15, 11.68s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [14:25<05:03, 11.66s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [14:37<04:51, 11.67s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [14:49<04:40, 11.67s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [15:00<04:28, 11.66s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [15:12<04:16, 11.66s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [15:24<04:04, 11.65s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [15:35<03:53, 11.66s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [15:47<03:41, 11.66s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [15:59<03:30, 11.68s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [16:10<03:18, 11.67s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [16:22<03:06, 11.67s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [16:34<02:55, 11.73s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [16:46<02:43, 11.71s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [16:57<02:31, 11.68s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [17:09<02:20, 11.67s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [17:20<02:08, 11.68s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [17:32<01:56, 11.68s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [17:44<01:44, 11.66s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [17:56<01:33, 11.69s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [18:07<01:21, 11.65s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [18:19<01:09, 11.66s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [18:30<00:58, 11.64s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [18:42<00:46, 11.67s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [18:54<00:34, 11.66s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [19:05<00:23, 11.67s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [19:17<00:11, 11.66s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:29<00:00, 11.69s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 100 0.005 DONE
1%|██▊ | 1/100 [00:04<07:51, 4.76s/it] 2%|█████▌ | 2/100 [00:09<07:45, 4.75s/it] 3%|████████▍ | 3/100 [00:14<07:39, 4.74s/it] 4%|███████████▏ | 4/100 [00:18<07:36, 4.75s/it] 5%|██████████████ | 5/100 [00:23<07:31, 4.76s/it] 6%|████████████████▊ | 6/100 [00:28<07:26, 4.75s/it] 7%|███████████████████▌ | 7/100 [00:33<07:22, 4.76s/it] 8%|██████████████████████▍ | 8/100 [00:38<07:21, 4.80s/it] 9%|█████████████████████████▏ | 9/100 [00:42<07:13, 4.77s/it] 10%|███████████████████████████▉ | 10/100 [00:47<07:07, 4.75s/it] 11%|██████████████████████████████▋ | 11/100 [00:52<07:01, 4.74s/it] 12%|█████████████████████████████████▍ | 12/100 [00:57<06:57, 4.75s/it] 13%|████████████████████████████████████▎ | 13/100 [01:01<06:52, 4.75s/it] 14%|███████████████████████████████████████ | 14/100 [01:06<06:46, 4.73s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:11<06:41, 4.72s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:15<06:35, 4.71s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:20<06:31, 4.72s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:25<06:27, 4.72s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:30<06:21, 4.71s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:34<06:17, 4.71s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:39<06:11, 4.71s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:44<06:08, 4.72s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:48<06:04, 4.73s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:53<06:00, 4.74s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:58<05:54, 4.73s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [02:03<05:50, 4.73s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [02:07<05:44, 4.72s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [02:12<05:41, 4.75s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [02:17<05:38, 4.77s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:22<05:34, 4.78s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:27<05:29, 4.78s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:31<05:23, 4.76s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:36<05:17, 4.74s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:41<05:12, 4.73s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:45<05:06, 4.71s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:50<05:00, 4.70s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:55<04:55, 4.69s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:59<04:50, 4.69s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [03:04<04:45, 4.69s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [03:09<04:41, 4.69s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [03:13<04:37, 4.70s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [03:18<04:33, 4.72s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [03:23<04:29, 4.73s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [03:28<04:24, 4.73s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:32<04:20, 4.73s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:37<04:14, 4.71s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:42<04:10, 4.72s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:47<04:05, 4.72s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:51<04:00, 4.72s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:56<03:56, 4.73s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [04:01<03:52, 4.74s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [04:06<03:46, 4.73s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [04:10<03:42, 4.73s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [04:15<03:37, 4.73s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [04:20<03:32, 4.73s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [04:25<03:28, 4.75s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [04:29<03:24, 4.76s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [04:34<03:18, 4.73s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:39<03:14, 4.74s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:43<03:08, 4.70s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:48<03:03, 4.70s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:53<02:58, 4.71s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:57<02:54, 4.70s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [05:02<02:48, 4.69s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [05:07<02:44, 4.70s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [05:12<02:39, 4.69s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [05:16<02:34, 4.69s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [05:21<02:29, 4.68s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [05:26<02:24, 4.68s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [05:30<02:20, 4.69s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [05:35<02:15, 4.69s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [05:40<02:11, 4.69s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [05:44<02:06, 4.69s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:49<02:01, 4.69s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:54<01:57, 4.69s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:58<01:52, 4.70s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [06:03<01:48, 4.70s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [06:08<01:43, 4.69s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [06:13<01:38, 4.70s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [06:17<01:34, 4.70s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [06:22<01:29, 4.71s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [06:27<01:24, 4.68s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [06:31<01:19, 4.69s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [06:36<01:14, 4.68s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [06:41<01:10, 4.68s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [06:45<01:05, 4.69s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [06:50<01:01, 4.70s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [06:55<00:56, 4.74s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [07:00<00:52, 4.74s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [07:04<00:47, 4.77s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [07:09<00:42, 4.75s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [07:14<00:38, 4.75s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [07:19<00:33, 4.73s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [07:23<00:28, 4.75s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [07:28<00:23, 4.74s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [07:33<00:18, 4.74s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [07:38<00:14, 4.75s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [07:42<00:09, 4.73s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [07:47<00:04, 4.71s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:52<00:00, 4.72s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 100 0.005 DONE
1%|██▊ | 1/100 [00:04<06:54, 4.18s/it] 2%|█████▌ | 2/100 [00:08<06:47, 4.16s/it] 3%|████████▍ | 3/100 [00:12<06:41, 4.14s/it] 4%|███████████▏ | 4/100 [00:16<06:34, 4.11s/it] 5%|██████████████ | 5/100 [00:20<06:30, 4.11s/it] 6%|████████████████▊ | 6/100 [00:24<06:24, 4.09s/it] 7%|███████████████████▌ | 7/100 [00:28<06:21, 4.10s/it] 8%|██████████████████████▍ | 8/100 [00:32<06:16, 4.09s/it] 9%|█████████████████████████▏ | 9/100 [00:36<06:11, 4.08s/it] 10%|███████████████████████████▉ | 10/100 [00:40<06:07, 4.08s/it] 11%|██████████████████████████████▋ | 11/100 [00:44<06:02, 4.07s/it] 12%|█████████████████████████████████▍ | 12/100 [00:49<05:58, 4.07s/it] 13%|████████████████████████████████████▎ | 13/100 [00:53<05:53, 4.06s/it] 14%|███████████████████████████████████████ | 14/100 [00:57<05:49, 4.07s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:01<05:47, 4.08s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:05<05:42, 4.08s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:09<05:38, 4.07s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:13<05:34, 4.08s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:17<05:31, 4.09s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:21<05:27, 4.09s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:25<05:21, 4.07s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:29<05:16, 4.06s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:33<05:13, 4.07s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:37<05:09, 4.07s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:41<05:03, 4.05s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:46<05:00, 4.06s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:50<04:56, 4.06s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:54<04:52, 4.07s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:58<04:48, 4.06s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:02<04:42, 4.04s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:06<04:39, 4.06s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:10<04:35, 4.05s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:14<04:32, 4.07s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:18<04:29, 4.08s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:22<04:26, 4.10s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:26<04:23, 4.12s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:30<04:19, 4.12s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:35<04:14, 4.11s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:39<04:09, 4.09s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [02:43<04:06, 4.10s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [02:47<04:02, 4.11s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [02:51<03:58, 4.11s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:55<03:55, 4.13s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [02:59<03:52, 4.15s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:03<03:47, 4.14s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:08<03:42, 4.12s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:12<03:38, 4.13s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:16<03:33, 4.11s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:20<03:29, 4.11s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:24<03:24, 4.08s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [03:28<03:20, 4.09s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [03:32<03:16, 4.09s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [03:36<03:11, 4.08s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [03:40<03:07, 4.08s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [03:44<03:03, 4.07s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [03:48<02:59, 4.08s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [03:52<02:54, 4.07s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [03:56<02:51, 4.08s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:01<02:47, 4.09s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:05<02:43, 4.08s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:09<02:39, 4.08s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:13<02:35, 4.09s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:17<02:30, 4.08s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [04:21<02:27, 4.08s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [04:25<02:23, 4.09s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [04:29<02:19, 4.09s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [04:33<02:15, 4.09s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [04:37<02:11, 4.09s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [04:41<02:06, 4.09s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [04:46<02:02, 4.09s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [04:50<01:59, 4.11s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [04:54<01:55, 4.13s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [04:58<01:51, 4.12s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:02<01:47, 4.13s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:06<01:42, 4.12s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:10<01:38, 4.12s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [05:14<01:34, 4.12s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [05:19<01:30, 4.11s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [05:23<01:27, 4.17s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [05:27<01:23, 4.15s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [05:31<01:18, 4.12s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [05:35<01:13, 4.10s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [05:39<01:09, 4.10s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [05:43<01:05, 4.10s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [05:47<01:01, 4.10s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [05:52<00:57, 4.11s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [05:56<00:53, 4.09s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [06:00<00:49, 4.09s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [06:04<00:44, 4.08s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [06:08<00:40, 4.07s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [06:12<00:36, 4.10s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [06:16<00:32, 4.11s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [06:20<00:28, 4.10s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [06:24<00:24, 4.07s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [06:28<00:20, 4.07s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [06:32<00:16, 4.05s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [06:36<00:12, 4.06s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [06:40<00:08, 4.06s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [06:45<00:04, 4.10s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:49<00:00, 4.09s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 100 100 0.005 DONE NEW LOOP
1%|██▊ | 1/100 [00:06<11:11, 6.78s/it] 2%|█████▌ | 2/100 [00:13<11:02, 6.76s/it] 3%|████████▍ | 3/100 [00:20<10:55, 6.75s/it] 4%|███████████▏ | 4/100 [00:26<10:47, 6.75s/it] 5%|██████████████ | 5/100 [00:33<10:40, 6.74s/it] 6%|████████████████▊ | 6/100 [00:40<10:33, 6.74s/it] 7%|███████████████████▌ | 7/100 [00:47<10:27, 6.74s/it] 8%|██████████████████████▍ | 8/100 [00:53<10:20, 6.74s/it] 9%|█████████████████████████▏ | 9/100 [01:00<10:17, 6.79s/it] 10%|███████████████████████████▉ | 10/100 [01:07<10:10, 6.78s/it] 11%|██████████████████████████████▋ | 11/100 [01:14<10:03, 6.78s/it] 12%|█████████████████████████████████▍ | 12/100 [01:21<09:57, 6.79s/it] 13%|████████████████████████████████████▎ | 13/100 [01:27<09:50, 6.79s/it] 14%|███████████████████████████████████████ | 14/100 [01:34<09:45, 6.81s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:41<09:43, 6.87s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:48<09:38, 6.89s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:55<09:32, 6.90s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [02:02<09:27, 6.92s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [02:09<09:31, 7.05s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [02:16<09:19, 7.00s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [02:24<09:24, 7.14s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [02:32<09:32, 7.34s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [02:39<09:17, 7.24s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [02:45<09:01, 7.12s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [02:52<08:45, 7.01s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [02:59<08:33, 6.93s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [03:06<08:22, 6.89s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [03:13<08:12, 6.84s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [03:19<08:04, 6.82s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [03:26<07:55, 6.80s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [03:33<07:48, 6.79s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [03:40<07:42, 6.80s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [03:46<07:34, 6.78s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [03:53<07:26, 6.77s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [04:00<07:20, 6.77s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [04:07<07:13, 6.77s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [04:13<07:06, 6.78s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [04:20<06:59, 6.76s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [04:27<06:52, 6.76s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [04:34<06:45, 6.76s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [04:40<06:38, 6.76s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [04:47<06:31, 6.75s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [04:54<06:24, 6.75s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [05:01<06:18, 6.75s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [05:07<06:11, 6.76s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [05:14<06:04, 6.75s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [05:21<05:58, 6.76s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [05:28<05:51, 6.76s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [05:34<05:44, 6.75s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [05:41<05:38, 6.77s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [05:48<05:31, 6.76s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [05:55<05:24, 6.75s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [06:02<05:17, 6.76s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [06:08<05:11, 6.76s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [06:15<05:04, 6.76s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [06:22<04:57, 6.76s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [06:29<04:50, 6.75s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [06:35<04:43, 6.76s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [06:42<04:36, 6.75s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [06:49<04:29, 6.74s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [06:56<04:22, 6.74s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [07:02<04:16, 6.75s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [07:09<04:09, 6.75s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [07:16<04:03, 6.75s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [07:23<03:56, 6.77s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [07:29<03:50, 6.77s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [07:36<03:43, 6.76s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [07:43<03:36, 6.78s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [07:50<03:29, 6.76s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [07:56<03:22, 6.75s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [08:03<03:15, 6.74s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [08:10<03:09, 6.75s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [08:17<03:02, 6.75s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [08:23<02:55, 6.75s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [08:30<02:48, 6.75s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [08:37<02:41, 6.75s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [08:44<02:35, 6.75s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [08:50<02:28, 6.74s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [08:57<02:21, 6.73s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [09:04<02:14, 6.74s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [09:11<02:08, 6.74s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [09:17<02:01, 6.74s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [09:24<01:54, 6.75s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [09:31<01:47, 6.74s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [09:38<01:41, 6.76s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [09:44<01:34, 6.77s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [09:51<01:27, 6.76s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [09:58<01:21, 6.75s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [10:05<01:14, 6.75s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [10:11<01:07, 6.75s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [10:18<01:00, 6.76s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [10:25<00:53, 6.74s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [10:32<00:47, 6.75s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [10:38<00:40, 6.75s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [10:45<00:33, 6.75s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [10:52<00:26, 6.74s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [10:59<00:20, 6.73s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [11:05<00:13, 6.74s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [11:12<00:06, 6.74s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:19<00:00, 6.79s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 200 0.001 DONE
1%|██▊ | 1/100 [00:03<05:15, 3.19s/it] 2%|█████▌ | 2/100 [00:06<05:12, 3.19s/it] 3%|████████▍ | 3/100 [00:09<05:08, 3.18s/it] 4%|███████████▏ | 4/100 [00:12<05:05, 3.18s/it] 5%|██████████████ | 5/100 [00:15<05:02, 3.18s/it] 6%|████████████████▊ | 6/100 [00:19<04:59, 3.19s/it] 7%|███████████████████▌ | 7/100 [00:22<04:55, 3.18s/it] 8%|██████████████████████▍ | 8/100 [00:25<04:52, 3.18s/it] 9%|█████████████████████████▏ | 9/100 [00:28<04:49, 3.18s/it] 10%|███████████████████████████▉ | 10/100 [00:31<04:45, 3.17s/it] 11%|██████████████████████████████▋ | 11/100 [00:34<04:41, 3.16s/it] 12%|█████████████████████████████████▍ | 12/100 [00:38<04:38, 3.16s/it] 13%|████████████████████████████████████▎ | 13/100 [00:41<04:35, 3.16s/it] 14%|███████████████████████████████████████ | 14/100 [00:44<04:32, 3.16s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:47<04:29, 3.17s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:50<04:26, 3.17s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:53<04:23, 3.17s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:57<04:20, 3.18s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:00<04:18, 3.19s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:03<04:16, 3.20s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:06<04:12, 3.19s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:09<04:08, 3.19s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:13<04:05, 3.18s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:16<04:01, 3.18s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:19<03:57, 3.17s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:22<03:54, 3.17s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:25<03:51, 3.17s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:28<03:47, 3.16s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:32<03:44, 3.16s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:35<03:41, 3.17s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:38<03:38, 3.17s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:41<03:35, 3.17s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:44<03:32, 3.17s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:47<03:28, 3.17s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:51<03:25, 3.16s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:54<03:22, 3.16s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:57<03:19, 3.16s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:00<03:15, 3.16s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:03<03:12, 3.16s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [02:06<03:09, 3.16s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [02:10<03:06, 3.16s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [02:13<03:03, 3.16s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:16<03:00, 3.17s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [02:19<02:58, 3.18s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:22<02:54, 3.18s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:25<02:51, 3.17s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:29<02:48, 3.18s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:32<02:45, 3.18s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:35<02:41, 3.17s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:38<02:38, 3.16s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:41<02:35, 3.18s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:45<02:33, 3.19s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:48<02:29, 3.18s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:51<02:26, 3.17s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:54<02:22, 3.17s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:57<02:19, 3.17s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [03:00<02:16, 3.17s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [03:04<02:12, 3.17s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [03:07<02:09, 3.17s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [03:10<02:06, 3.16s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [03:13<02:03, 3.17s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [03:16<02:00, 3.17s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [03:19<01:57, 3.17s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [03:23<01:53, 3.17s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [03:26<01:51, 3.17s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [03:29<01:47, 3.16s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [03:32<01:44, 3.16s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:35<01:41, 3.16s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:38<01:38, 3.17s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:41<01:34, 3.16s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:45<01:31, 3.17s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:48<01:28, 3.17s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:51<01:25, 3.17s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:54<01:22, 3.16s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:57<01:19, 3.17s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [04:00<01:16, 3.17s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [04:04<01:12, 3.16s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [04:07<01:09, 3.16s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [04:10<01:06, 3.16s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [04:13<01:03, 3.16s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [04:16<01:00, 3.17s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [04:20<00:57, 3.18s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [04:23<00:54, 3.18s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [04:26<00:50, 3.17s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [04:29<00:47, 3.17s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [04:32<00:44, 3.17s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [04:35<00:41, 3.17s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [04:39<00:38, 3.20s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [04:42<00:35, 3.20s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:45<00:31, 3.19s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:48<00:28, 3.18s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:51<00:25, 3.16s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:54<00:22, 3.18s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:58<00:19, 3.18s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [05:01<00:15, 3.16s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [05:04<00:12, 3.17s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [05:07<00:09, 3.16s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [05:10<00:06, 3.16s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [05:13<00:03, 3.17s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:17<00:00, 3.17s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 200 0.001 DONE
1%|██▊ | 1/100 [00:02<04:45, 2.88s/it] 2%|█████▌ | 2/100 [00:05<04:41, 2.87s/it] 3%|████████▍ | 3/100 [00:08<04:37, 2.86s/it] 4%|███████████▏ | 4/100 [00:11<04:34, 2.86s/it] 5%|██████████████ | 5/100 [00:14<04:31, 2.86s/it] 6%|████████████████▊ | 6/100 [00:17<04:27, 2.85s/it] 7%|███████████████████▌ | 7/100 [00:19<04:24, 2.85s/it] 8%|██████████████████████▍ | 8/100 [00:22<04:21, 2.85s/it] 9%|█████████████████████████▏ | 9/100 [00:25<04:18, 2.84s/it] 10%|███████████████████████████▉ | 10/100 [00:28<04:16, 2.85s/it] 11%|██████████████████████████████▋ | 11/100 [00:31<04:12, 2.84s/it] 12%|█████████████████████████████████▍ | 12/100 [00:34<04:10, 2.84s/it] 13%|████████████████████████████████████▎ | 13/100 [00:37<04:07, 2.84s/it] 14%|███████████████████████████████████████ | 14/100 [00:39<04:04, 2.84s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:42<04:01, 2.85s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:45<03:58, 2.85s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:48<03:55, 2.84s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:51<03:53, 2.84s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:54<03:51, 2.86s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:56<03:47, 2.85s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:59<03:44, 2.85s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:02<03:42, 2.85s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:05<03:39, 2.86s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:08<03:36, 2.85s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:11<03:33, 2.85s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:14<03:30, 2.84s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:16<03:27, 2.84s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:19<03:24, 2.84s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:22<03:22, 2.85s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:25<03:19, 2.85s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:28<03:16, 2.84s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:31<03:13, 2.85s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:33<03:11, 2.85s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:36<03:07, 2.84s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:39<03:04, 2.84s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:42<03:02, 2.84s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:45<02:59, 2.85s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:48<02:56, 2.85s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:51<02:53, 2.85s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:53<02:50, 2.84s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:56<02:47, 2.84s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:59<02:45, 2.85s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:02<02:42, 2.86s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [02:05<02:40, 2.86s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:08<02:37, 2.86s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:10<02:33, 2.85s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:13<02:30, 2.84s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:16<02:27, 2.84s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:19<02:24, 2.84s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:22<02:22, 2.84s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:25<02:19, 2.84s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:28<02:16, 2.85s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:30<02:13, 2.85s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:33<02:11, 2.86s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:36<02:08, 2.86s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:39<02:05, 2.85s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:42<02:01, 2.84s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:45<01:59, 2.85s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:47<01:56, 2.85s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:50<01:53, 2.84s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:53<01:50, 2.84s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:56<01:48, 2.85s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:59<01:45, 2.84s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [03:02<01:42, 2.85s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [03:05<01:39, 2.84s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [03:07<01:36, 2.85s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [03:10<01:33, 2.85s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:13<01:31, 2.85s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:16<01:28, 2.84s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:19<01:25, 2.84s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:22<01:22, 2.84s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:24<01:19, 2.84s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:27<01:16, 2.84s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:30<01:13, 2.84s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:33<01:11, 2.85s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:36<01:08, 2.86s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:39<01:05, 2.85s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:42<01:02, 2.86s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:44<00:59, 2.85s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:47<00:56, 2.84s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:50<00:54, 2.85s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:53<00:51, 2.85s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:56<00:48, 2.84s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:59<00:45, 2.84s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [04:01<00:42, 2.84s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [04:04<00:39, 2.85s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [04:07<00:37, 2.85s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [04:10<00:34, 2.84s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [04:13<00:31, 2.85s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:16<00:28, 2.84s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:19<00:25, 2.84s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:21<00:22, 2.84s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:24<00:19, 2.85s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:27<00:17, 2.85s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [04:30<00:14, 2.85s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:33<00:11, 2.85s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:36<00:08, 2.85s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:38<00:05, 2.85s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:41<00:02, 2.85s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:44<00:00, 2.85s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 100 200 0.001 DONE NEW LOOP
1%|██▊ | 1/100 [00:06<11:09, 6.76s/it] 2%|█████▌ | 2/100 [00:13<11:02, 6.76s/it] 3%|████████▍ | 3/100 [00:20<10:56, 6.77s/it] 4%|███████████▏ | 4/100 [00:27<10:48, 6.76s/it] 5%|██████████████ | 5/100 [00:33<10:40, 6.74s/it] 6%|████████████████▊ | 6/100 [00:40<10:32, 6.73s/it] 7%|███████████████████▌ | 7/100 [00:47<10:24, 6.72s/it] 8%|██████████████████████▍ | 8/100 [00:53<10:17, 6.71s/it] 9%|█████████████████████████▏ | 9/100 [01:00<10:12, 6.73s/it] 10%|███████████████████████████▉ | 10/100 [01:07<10:04, 6.71s/it] 11%|██████████████████████████████▋ | 11/100 [01:14<09:58, 6.72s/it] 12%|█████████████████████████████████▍ | 12/100 [01:20<09:51, 6.72s/it] 13%|████████████████████████████████████▎ | 13/100 [01:27<09:44, 6.71s/it] 14%|███████████████████████████████████████ | 14/100 [01:34<09:37, 6.72s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:40<09:30, 6.71s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:47<09:23, 6.71s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:54<09:17, 6.71s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [02:00<09:09, 6.71s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [02:07<09:01, 6.69s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [02:14<08:54, 6.68s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [02:21<08:49, 6.70s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [02:27<08:42, 6.70s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [02:34<08:34, 6.69s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [02:41<08:27, 6.68s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [02:47<08:20, 6.67s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [02:54<08:14, 6.68s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [03:01<08:07, 6.67s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [03:07<08:00, 6.67s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [03:14<07:54, 6.68s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [03:21<07:47, 6.68s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [03:27<07:40, 6.68s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [03:34<07:34, 6.68s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [03:41<07:27, 6.68s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [03:47<07:20, 6.68s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [03:54<07:13, 6.67s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [04:01<07:07, 6.68s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [04:07<07:00, 6.68s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [04:14<06:53, 6.67s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [04:21<06:49, 6.71s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [04:27<06:41, 6.70s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [04:34<06:34, 6.69s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [04:41<06:30, 6.73s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [04:48<06:25, 6.77s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [04:54<06:17, 6.74s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [05:01<06:09, 6.72s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [05:08<06:01, 6.70s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [05:15<05:54, 6.69s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [05:21<05:47, 6.68s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [05:28<05:40, 6.68s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [05:35<05:34, 6.68s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [05:41<05:27, 6.67s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [05:48<05:20, 6.68s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [05:55<05:13, 6.68s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [06:01<05:07, 6.69s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [06:08<05:00, 6.68s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [06:15<04:54, 6.69s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [06:21<04:48, 6.71s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [06:28<04:41, 6.70s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [06:35<04:34, 6.69s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [06:41<04:27, 6.69s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [06:48<04:20, 6.69s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [06:55<04:14, 6.69s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [07:01<04:06, 6.67s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [07:08<04:00, 6.68s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [07:15<03:54, 6.69s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [07:21<03:46, 6.67s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [07:28<03:40, 6.67s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [07:35<03:33, 6.67s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [07:41<03:26, 6.66s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [07:48<03:20, 6.67s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [07:55<03:13, 6.67s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [08:01<03:06, 6.66s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [08:08<03:00, 6.67s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [08:15<02:53, 6.66s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [08:22<02:47, 6.69s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [08:28<02:40, 6.69s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [08:35<02:34, 6.70s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [08:42<02:27, 6.69s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [08:48<02:20, 6.69s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [08:55<02:13, 6.70s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [09:02<02:06, 6.68s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [09:08<02:00, 6.68s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [09:15<01:53, 6.67s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [09:22<01:46, 6.67s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [09:28<01:40, 6.68s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [09:35<01:33, 6.68s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [09:42<01:27, 6.74s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [09:49<01:20, 6.72s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [09:55<01:13, 6.70s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [10:02<01:06, 6.69s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [10:09<01:00, 6.68s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [10:15<00:53, 6.68s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [10:22<00:46, 6.68s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [10:29<00:40, 6.68s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [10:35<00:33, 6.68s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [10:42<00:26, 6.68s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [10:49<00:20, 6.69s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [10:55<00:13, 6.68s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [11:02<00:06, 6.72s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:09<00:00, 6.69s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 200 0.01 DONE
1%|██▊ | 1/100 [00:03<05:14, 3.18s/it] 2%|█████▌ | 2/100 [00:06<05:10, 3.17s/it] 3%|████████▍ | 3/100 [00:09<05:07, 3.17s/it] 4%|███████████▏ | 4/100 [00:12<05:03, 3.17s/it] 5%|██████████████ | 5/100 [00:15<05:00, 3.16s/it] 6%|████████████████▊ | 6/100 [00:18<04:57, 3.16s/it] 7%|███████████████████▌ | 7/100 [00:22<04:54, 3.16s/it] 8%|██████████████████████▍ | 8/100 [00:25<04:50, 3.16s/it] 9%|█████████████████████████▏ | 9/100 [00:28<04:47, 3.16s/it] 10%|███████████████████████████▉ | 10/100 [00:31<04:43, 3.15s/it] 11%|██████████████████████████████▋ | 11/100 [00:34<04:40, 3.16s/it] 12%|█████████████████████████████████▍ | 12/100 [00:37<04:37, 3.16s/it] 13%|████████████████████████████████████▎ | 13/100 [00:41<04:34, 3.15s/it] 14%|███████████████████████████████████████ | 14/100 [00:44<04:31, 3.16s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:47<04:27, 3.15s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:50<04:24, 3.15s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:53<04:21, 3.16s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:56<04:18, 3.16s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:59<04:15, 3.16s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:03<04:11, 3.15s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:06<04:09, 3.15s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:09<04:06, 3.16s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:12<04:03, 3.16s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:15<03:59, 3.15s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:18<03:57, 3.17s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:22<03:54, 3.16s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:25<03:50, 3.16s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:28<03:48, 3.17s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:31<03:44, 3.16s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:34<03:40, 3.15s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:37<03:37, 3.15s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:41<03:34, 3.15s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:44<03:31, 3.15s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:47<03:27, 3.15s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:50<03:25, 3.16s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:53<03:21, 3.15s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:56<03:18, 3.15s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:59<03:15, 3.16s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:03<03:12, 3.16s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [02:06<03:09, 3.15s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [02:09<03:06, 3.16s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [02:12<03:03, 3.16s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:15<03:00, 3.16s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [02:18<02:56, 3.16s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:22<02:53, 3.16s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:25<02:50, 3.15s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:28<02:47, 3.16s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:31<02:44, 3.16s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:34<02:41, 3.16s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:37<02:37, 3.16s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:40<02:34, 3.15s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:44<02:31, 3.15s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:47<02:28, 3.15s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:50<02:25, 3.16s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:53<02:22, 3.16s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:56<02:19, 3.17s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:59<02:15, 3.16s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [03:03<02:12, 3.16s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [03:06<02:09, 3.15s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [03:09<02:06, 3.16s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [03:12<02:03, 3.16s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [03:15<01:59, 3.15s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [03:18<01:56, 3.16s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [03:22<01:53, 3.15s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [03:25<01:50, 3.14s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [03:28<01:46, 3.14s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [03:31<01:44, 3.15s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:34<01:40, 3.15s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:37<01:37, 3.15s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:40<01:34, 3.16s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:44<01:31, 3.15s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:47<01:28, 3.16s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:50<01:25, 3.15s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:53<01:21, 3.15s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:56<01:18, 3.14s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:59<01:15, 3.15s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [04:03<01:12, 3.16s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [04:06<01:09, 3.16s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [04:09<01:06, 3.15s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [04:12<01:03, 3.15s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [04:15<00:59, 3.15s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [04:18<00:56, 3.16s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [04:21<00:53, 3.16s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [04:25<00:50, 3.17s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [04:28<00:47, 3.17s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [04:31<00:44, 3.17s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [04:34<00:41, 3.17s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [04:37<00:37, 3.16s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [04:41<00:34, 3.18s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:44<00:31, 3.17s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:47<00:28, 3.17s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:50<00:25, 3.17s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:53<00:22, 3.17s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:56<00:19, 3.17s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [04:59<00:15, 3.17s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [05:03<00:12, 3.17s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [05:06<00:09, 3.16s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [05:09<00:06, 3.19s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [05:12<00:03, 3.18s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:15<00:00, 3.16s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 200 0.01 DONE
1%|██▊ | 1/100 [00:02<04:45, 2.88s/it] 2%|█████▌ | 2/100 [00:05<04:41, 2.88s/it] 3%|████████▍ | 3/100 [00:08<04:37, 2.86s/it] 4%|███████████▏ | 4/100 [00:11<04:33, 2.85s/it] 5%|██████████████ | 5/100 [00:14<04:30, 2.85s/it] 6%|████████████████▊ | 6/100 [00:17<04:28, 2.85s/it] 7%|███████████████████▌ | 7/100 [00:19<04:25, 2.86s/it] 8%|██████████████████████▍ | 8/100 [00:22<04:22, 2.85s/it] 9%|█████████████████████████▏ | 9/100 [00:25<04:18, 2.85s/it] 10%|███████████████████████████▉ | 10/100 [00:28<04:16, 2.85s/it] 11%|██████████████████████████████▋ | 11/100 [00:31<04:13, 2.85s/it] 12%|█████████████████████████████████▍ | 12/100 [00:34<04:11, 2.86s/it] 13%|████████████████████████████████████▎ | 13/100 [00:37<04:08, 2.85s/it] 14%|███████████████████████████████████████ | 14/100 [00:39<04:05, 2.86s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:42<04:03, 2.87s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:45<04:00, 2.87s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:48<03:57, 2.86s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:51<03:53, 2.85s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:54<03:50, 2.84s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:57<03:48, 2.85s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:59<03:45, 2.85s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:02<03:41, 2.84s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:05<03:38, 2.84s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:08<03:36, 2.84s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:11<03:33, 2.85s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:14<03:30, 2.85s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:16<03:27, 2.85s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:19<03:25, 2.85s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:22<03:22, 2.85s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:25<03:19, 2.84s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:28<03:16, 2.85s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:31<03:13, 2.85s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:34<03:11, 2.85s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:36<03:08, 2.85s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:39<03:05, 2.85s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:42<03:02, 2.85s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:45<02:59, 2.85s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:48<02:56, 2.84s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:51<02:54, 2.86s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:54<02:51, 2.86s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:56<02:48, 2.86s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:59<02:45, 2.86s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:02<02:42, 2.85s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [02:05<02:39, 2.85s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:08<02:36, 2.85s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:11<02:33, 2.85s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:13<02:30, 2.84s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:16<02:27, 2.84s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:19<02:25, 2.85s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:22<02:22, 2.85s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:25<02:18, 2.84s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:28<02:16, 2.84s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:31<02:13, 2.85s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:33<02:10, 2.85s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:36<02:08, 2.85s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:39<02:05, 2.85s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:42<02:02, 2.85s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:45<01:59, 2.85s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:48<01:56, 2.85s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:51<01:54, 2.86s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:53<01:51, 2.85s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:56<01:48, 2.85s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:59<01:45, 2.85s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [03:02<01:42, 2.85s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [03:05<01:39, 2.85s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [03:08<01:36, 2.85s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [03:10<01:33, 2.84s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:13<01:30, 2.84s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:16<01:28, 2.85s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:19<01:25, 2.84s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:22<01:22, 2.84s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:25<01:19, 2.84s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:28<01:17, 2.85s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:30<01:14, 2.85s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:33<01:11, 2.84s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:36<01:08, 2.85s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:39<01:05, 2.84s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:42<01:02, 2.84s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:45<00:59, 2.83s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:47<00:56, 2.83s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:50<00:53, 2.84s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:53<00:51, 2.85s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:56<00:48, 2.86s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:59<00:45, 2.86s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [04:02<00:42, 2.85s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [04:04<00:39, 2.84s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [04:07<00:36, 2.84s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [04:10<00:34, 2.85s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [04:13<00:31, 2.85s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:16<00:28, 2.85s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:19<00:25, 2.86s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:22<00:22, 2.85s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:24<00:19, 2.85s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:27<00:17, 2.86s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [04:30<00:14, 2.86s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:33<00:11, 2.86s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:36<00:08, 2.85s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:39<00:05, 2.85s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:42<00:02, 2.86s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:44<00:00, 2.85s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 100 200 0.01 DONE NEW LOOP
1%|██▊ | 1/100 [00:06<11:05, 6.73s/it] 2%|█████▌ | 2/100 [00:13<10:59, 6.73s/it] 3%|████████▍ | 3/100 [00:20<10:51, 6.72s/it] 4%|███████████▏ | 4/100 [00:26<10:44, 6.71s/it] 5%|██████████████ | 5/100 [00:33<10:38, 6.72s/it] 6%|████████████████▊ | 6/100 [00:40<10:31, 6.71s/it] 7%|███████████████████▌ | 7/100 [00:47<10:24, 6.72s/it] 8%|██████████████████████▍ | 8/100 [00:53<10:17, 6.71s/it] 9%|█████████████████████████▏ | 9/100 [01:00<10:10, 6.71s/it] 10%|███████████████████████████▉ | 10/100 [01:07<10:05, 6.73s/it] 11%|██████████████████████████████▋ | 11/100 [01:13<09:58, 6.72s/it] 12%|█████████████████████████████████▍ | 12/100 [01:20<09:51, 6.72s/it] 13%|████████████████████████████████████▎ | 13/100 [01:27<09:44, 6.72s/it] 14%|███████████████████████████████████████ | 14/100 [01:34<09:36, 6.71s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:40<09:30, 6.71s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:47<09:23, 6.71s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:54<09:16, 6.71s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [02:00<09:08, 6.69s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [02:07<09:01, 6.69s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [02:14<08:55, 6.69s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [02:20<08:49, 6.70s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [02:27<08:42, 6.70s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [02:34<08:35, 6.70s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [02:40<08:28, 6.69s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [02:47<08:22, 6.70s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [02:54<08:15, 6.69s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [03:01<08:07, 6.68s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [03:07<08:02, 6.70s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [03:14<07:55, 6.69s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [03:21<07:47, 6.69s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [03:27<07:42, 6.70s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [03:34<07:39, 6.75s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [03:41<07:31, 6.74s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [03:48<07:23, 6.73s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [03:54<07:16, 6.71s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [04:01<07:09, 6.71s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [04:08<07:02, 6.70s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [04:14<06:55, 6.70s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [04:21<06:48, 6.69s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [04:28<06:42, 6.70s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [04:34<06:34, 6.69s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [04:41<06:28, 6.69s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [04:48<06:23, 6.72s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [04:55<06:15, 6.71s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [05:02<06:16, 6.84s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [05:09<06:12, 6.91s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [05:16<06:02, 6.85s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [05:22<05:53, 6.80s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [05:29<05:44, 6.76s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [05:36<05:36, 6.73s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [05:42<05:29, 6.72s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [05:49<05:21, 6.70s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [05:56<05:14, 6.69s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [06:02<05:06, 6.67s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [06:09<05:00, 6.67s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [06:16<04:53, 6.67s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [06:22<04:46, 6.67s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [06:29<04:40, 6.68s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [06:36<04:33, 6.67s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [06:42<04:26, 6.67s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [06:49<04:20, 6.69s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [06:56<04:14, 6.69s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [07:02<04:07, 6.68s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [07:09<04:01, 6.71s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [07:16<03:54, 6.69s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [07:22<03:47, 6.69s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [07:29<03:40, 6.68s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [07:36<03:33, 6.68s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [07:42<03:27, 6.69s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [07:49<03:20, 6.69s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [07:56<03:13, 6.68s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [08:02<03:06, 6.67s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [08:09<03:00, 6.68s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [08:16<02:53, 6.68s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [08:22<02:46, 6.67s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [08:29<02:40, 6.68s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [08:36<02:33, 6.68s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [08:43<02:27, 6.69s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [08:49<02:20, 6.69s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [08:56<02:13, 6.68s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [09:03<02:06, 6.68s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [09:09<02:00, 6.70s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [09:16<01:53, 6.70s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [09:23<01:47, 6.70s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [09:29<01:40, 6.69s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [09:36<01:33, 6.68s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [09:43<01:26, 6.68s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [09:50<01:20, 6.72s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [09:56<01:13, 6.72s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [10:03<01:07, 6.71s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [10:10<01:00, 6.71s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [10:16<00:53, 6.70s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [10:23<00:46, 6.69s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [10:30<00:40, 6.68s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [10:36<00:33, 6.68s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [10:43<00:26, 6.69s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [10:50<00:20, 6.68s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [10:56<00:13, 6.69s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [11:03<00:06, 6.69s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:10<00:00, 6.70s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 200 0.005 DONE
1%|██▊ | 1/100 [00:03<05:17, 3.21s/it] 2%|█████▌ | 2/100 [00:06<05:12, 3.19s/it] 3%|████████▍ | 3/100 [00:09<05:07, 3.17s/it] 4%|███████████▏ | 4/100 [00:12<05:04, 3.17s/it] 5%|██████████████ | 5/100 [00:15<05:00, 3.16s/it] 6%|████████████████▊ | 6/100 [00:18<04:57, 3.16s/it] 7%|███████████████████▌ | 7/100 [00:22<04:53, 3.16s/it] 8%|██████████████████████▍ | 8/100 [00:25<04:51, 3.17s/it] 9%|█████████████████████████▏ | 9/100 [00:28<04:48, 3.17s/it] 10%|███████████████████████████▉ | 10/100 [00:31<04:44, 3.16s/it] 11%|██████████████████████████████▋ | 11/100 [00:34<04:41, 3.16s/it] 12%|█████████████████████████████████▍ | 12/100 [00:37<04:38, 3.16s/it] 13%|████████████████████████████████████▎ | 13/100 [00:41<04:34, 3.16s/it] 14%|███████████████████████████████████████ | 14/100 [00:44<04:30, 3.15s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:47<04:28, 3.16s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:50<04:25, 3.16s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:53<04:21, 3.15s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:56<04:18, 3.15s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:59<04:14, 3.14s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:03<04:12, 3.15s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:06<04:08, 3.15s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:09<04:05, 3.14s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:12<04:03, 3.16s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:15<04:00, 3.17s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:18<03:57, 3.16s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:22<03:53, 3.16s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:25<03:50, 3.15s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:28<03:47, 3.15s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:31<03:44, 3.16s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:34<03:41, 3.16s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:37<03:37, 3.16s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:41<03:34, 3.15s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:44<03:31, 3.16s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:47<03:28, 3.16s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:50<03:24, 3.15s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:53<03:22, 3.16s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:56<03:19, 3.17s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:00<03:16, 3.17s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:03<03:13, 3.17s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [02:06<03:10, 3.17s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [02:09<03:06, 3.16s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [02:12<03:03, 3.16s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:15<02:59, 3.15s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [02:19<02:58, 3.18s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:22<02:56, 3.21s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:25<02:53, 3.21s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:28<02:49, 3.20s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:31<02:45, 3.18s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:35<02:42, 3.18s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:38<02:38, 3.17s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:41<02:35, 3.16s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:44<02:31, 3.17s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:47<02:28, 3.16s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:50<02:25, 3.17s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:53<02:22, 3.16s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:57<02:18, 3.16s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [03:00<02:15, 3.15s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [03:03<02:12, 3.16s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [03:06<02:09, 3.16s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [03:09<02:06, 3.16s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [03:12<02:03, 3.16s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [03:16<02:00, 3.16s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [03:19<01:56, 3.15s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [03:22<01:53, 3.16s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [03:25<01:50, 3.16s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [03:28<01:47, 3.16s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [03:31<01:44, 3.16s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:35<01:41, 3.16s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:38<01:38, 3.16s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:41<01:34, 3.16s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:44<01:31, 3.16s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:47<01:28, 3.16s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:50<01:25, 3.16s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:53<01:22, 3.16s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:57<01:19, 3.17s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [04:00<01:15, 3.16s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [04:03<01:12, 3.15s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [04:06<01:09, 3.16s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [04:09<01:06, 3.16s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [04:12<01:03, 3.16s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [04:16<01:00, 3.17s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [04:19<00:56, 3.16s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [04:22<00:53, 3.16s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [04:25<00:50, 3.15s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [04:28<00:47, 3.15s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [04:31<00:44, 3.14s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [04:35<00:40, 3.15s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [04:38<00:38, 3.17s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [04:41<00:34, 3.17s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:44<00:31, 3.17s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:47<00:28, 3.16s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:50<00:25, 3.16s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:54<00:22, 3.20s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:57<00:19, 3.19s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [05:00<00:15, 3.17s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [05:03<00:12, 3.17s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [05:06<00:09, 3.17s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [05:09<00:06, 3.17s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [05:13<00:03, 3.16s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:16<00:00, 3.16s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 200 0.005 DONE
1%|██▊ | 1/100 [00:02<04:43, 2.86s/it] 2%|█████▌ | 2/100 [00:05<04:40, 2.86s/it] 3%|████████▍ | 3/100 [00:08<04:37, 2.86s/it] 4%|███████████▏ | 4/100 [00:11<04:33, 2.85s/it] 5%|██████████████ | 5/100 [00:14<04:30, 2.84s/it] 6%|████████████████▊ | 6/100 [00:17<04:27, 2.84s/it] 7%|███████████████████▌ | 7/100 [00:19<04:25, 2.85s/it] 8%|██████████████████████▍ | 8/100 [00:22<04:21, 2.84s/it] 9%|█████████████████████████▏ | 9/100 [00:25<04:19, 2.85s/it] 10%|███████████████████████████▉ | 10/100 [00:28<04:16, 2.85s/it] 11%|██████████████████████████████▋ | 11/100 [00:31<04:13, 2.85s/it] 12%|█████████████████████████████████▍ | 12/100 [00:34<04:10, 2.85s/it] 13%|████████████████████████████████████▎ | 13/100 [00:37<04:07, 2.85s/it] 14%|███████████████████████████████████████ | 14/100 [00:39<04:05, 2.86s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:42<04:02, 2.85s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:45<04:00, 2.86s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:48<03:58, 2.87s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:51<03:54, 2.86s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:54<03:51, 2.86s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:57<03:48, 2.85s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:59<03:45, 2.85s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:02<03:42, 2.85s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:05<03:39, 2.85s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:08<03:36, 2.85s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:11<03:33, 2.85s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:14<03:31, 2.85s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:17<03:28, 2.86s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:19<03:24, 2.85s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:22<03:21, 2.84s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:25<03:19, 2.84s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:28<03:16, 2.85s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:31<03:13, 2.85s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:34<03:10, 2.84s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:36<03:07, 2.85s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:39<03:05, 2.85s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:42<03:02, 2.85s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:45<02:58, 2.84s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:48<02:55, 2.84s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:51<02:53, 2.84s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:53<02:50, 2.84s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:56<02:47, 2.84s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:59<02:45, 2.85s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [02:02<02:42, 2.84s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [02:05<02:39, 2.85s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:08<02:36, 2.85s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:11<02:36, 2.90s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:14<02:32, 2.88s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:16<02:29, 2.88s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:19<02:26, 2.87s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:22<02:22, 2.86s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:25<02:19, 2.85s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:28<02:16, 2.85s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:31<02:14, 2.86s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:34<02:11, 2.85s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:36<02:08, 2.85s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:39<02:06, 2.87s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:42<02:03, 2.86s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:45<02:00, 2.86s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:48<01:56, 2.85s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:51<01:53, 2.85s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:54<01:50, 2.85s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:56<01:47, 2.84s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:59<01:45, 2.84s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [03:02<01:42, 2.84s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [03:05<01:39, 2.85s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [03:08<01:36, 2.85s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [03:11<01:34, 2.86s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:13<01:31, 2.85s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:16<01:28, 2.85s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:19<01:25, 2.86s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:22<01:23, 2.86s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:25<01:20, 2.86s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:28<01:16, 2.85s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:31<01:13, 2.85s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:33<01:11, 2.84s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:36<01:08, 2.85s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:39<01:05, 2.85s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:42<01:02, 2.85s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:45<00:59, 2.84s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:48<00:56, 2.84s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:51<00:54, 2.85s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:53<00:51, 2.85s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:56<00:48, 2.84s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:59<00:45, 2.83s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [04:02<00:42, 2.85s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [04:05<00:39, 2.85s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [04:08<00:36, 2.84s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [04:10<00:34, 2.85s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [04:13<00:31, 2.84s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:16<00:28, 2.84s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:19<00:25, 2.84s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:22<00:22, 2.84s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:25<00:19, 2.84s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:27<00:17, 2.84s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [04:30<00:14, 2.85s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:33<00:11, 2.85s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:36<00:08, 2.84s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:39<00:05, 2.86s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:42<00:02, 2.85s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:45<00:00, 2.85s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 100 200 0.005 DONE NEW LOOP
1%|██▊ | 1/100 [00:04<07:29, 4.54s/it] 2%|█████▌ | 2/100 [00:09<07:23, 4.52s/it] 3%|████████▍ | 3/100 [00:13<07:18, 4.52s/it] 4%|███████████▏ | 4/100 [00:18<07:13, 4.52s/it] 5%|██████████████ | 5/100 [00:22<07:08, 4.51s/it] 6%|████████████████▊ | 6/100 [00:27<07:04, 4.52s/it] 7%|███████████████████▌ | 7/100 [00:31<06:59, 4.51s/it] 8%|██████████████████████▍ | 8/100 [00:36<06:55, 4.52s/it] 9%|█████████████████████████▏ | 9/100 [00:40<06:51, 4.52s/it] 10%|███████████████████████████▉ | 10/100 [00:45<06:46, 4.52s/it] 11%|██████████████████████████████▋ | 11/100 [00:49<06:42, 4.52s/it] 12%|█████████████████████████████████▍ | 12/100 [00:54<06:37, 4.52s/it] 13%|████████████████████████████████████▎ | 13/100 [00:58<06:33, 4.53s/it] 14%|███████████████████████████████████████ | 14/100 [01:03<06:28, 4.52s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:07<06:24, 4.52s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:12<06:19, 4.52s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:16<06:15, 4.52s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:21<06:10, 4.52s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:25<06:07, 4.53s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:30<06:02, 4.53s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:34<05:57, 4.52s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:39<05:53, 4.53s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:43<05:48, 4.52s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:48<05:44, 4.53s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:53<05:39, 4.53s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:57<05:36, 4.55s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [02:02<05:31, 4.54s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [02:06<05:26, 4.53s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [02:11<05:21, 4.53s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:15<05:16, 4.52s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:20<05:11, 4.52s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:24<05:07, 4.52s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:29<05:02, 4.52s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:33<04:57, 4.51s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:38<04:53, 4.51s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:42<04:48, 4.51s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:47<04:44, 4.51s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:51<04:39, 4.51s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:56<04:34, 4.51s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [03:00<04:30, 4.51s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [03:05<04:25, 4.51s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [03:09<04:22, 4.52s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [03:14<04:17, 4.52s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [03:18<04:13, 4.52s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:23<04:08, 4.51s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:27<04:04, 4.52s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:32<03:59, 4.52s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:36<03:55, 4.53s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:41<03:50, 4.52s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:46<03:46, 4.52s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [03:50<03:41, 4.51s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [03:55<03:37, 4.53s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [03:59<03:33, 4.54s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [04:04<03:28, 4.54s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [04:08<03:23, 4.53s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [04:13<03:19, 4.53s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [04:17<03:14, 4.52s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [04:22<03:09, 4.52s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:26<03:05, 4.52s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:31<03:00, 4.51s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:35<02:55, 4.51s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:40<02:51, 4.52s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:44<02:46, 4.51s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [04:49<02:42, 4.51s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [04:53<02:37, 4.51s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [04:58<02:33, 4.50s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [05:02<02:28, 4.51s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [05:07<02:24, 4.51s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [05:11<02:19, 4.51s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [05:16<02:15, 4.50s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [05:20<02:10, 4.50s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [05:25<02:06, 4.50s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [05:29<02:01, 4.51s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:34<01:57, 4.52s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:38<01:52, 4.51s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:43<01:48, 4.51s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [05:47<01:43, 4.51s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [05:52<01:39, 4.51s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [05:56<01:35, 4.53s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [06:01<01:30, 4.53s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [06:06<01:25, 4.53s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [06:10<01:21, 4.52s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [06:15<01:16, 4.52s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [06:19<01:12, 4.52s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [06:24<01:07, 4.52s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [06:28<01:03, 4.52s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [06:33<00:59, 4.54s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [06:37<00:54, 4.56s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [06:42<00:50, 4.55s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [06:46<00:45, 4.53s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [06:51<00:40, 4.52s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [06:55<00:36, 4.51s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [07:00<00:31, 4.51s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [07:04<00:27, 4.51s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [07:09<00:22, 4.50s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [07:13<00:18, 4.50s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [07:18<00:13, 4.50s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [07:22<00:09, 4.51s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [07:27<00:04, 4.53s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:31<00:00, 4.52s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 400 0.001 DONE
1%|██▊ | 1/100 [00:02<04:31, 2.74s/it] 2%|█████▌ | 2/100 [00:05<04:26, 2.72s/it] 3%|████████▍ | 3/100 [00:08<04:22, 2.71s/it] 4%|███████████▏ | 4/100 [00:10<04:19, 2.70s/it] 5%|██████████████ | 5/100 [00:13<04:15, 2.69s/it] 6%|████████████████▊ | 6/100 [00:16<04:12, 2.69s/it] 7%|███████████████████▌ | 7/100 [00:18<04:09, 2.68s/it] 8%|██████████████████████▍ | 8/100 [00:21<04:06, 2.68s/it] 9%|█████████████████████████▏ | 9/100 [00:24<04:04, 2.68s/it] 10%|███████████████████████████▉ | 10/100 [00:26<04:01, 2.68s/it] 11%|██████████████████████████████▋ | 11/100 [00:29<03:58, 2.68s/it] 12%|█████████████████████████████████▍ | 12/100 [00:32<03:56, 2.68s/it] 13%|████████████████████████████████████▎ | 13/100 [00:34<03:53, 2.68s/it] 14%|███████████████████████████████████████ | 14/100 [00:37<03:51, 2.69s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:40<03:47, 2.68s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:42<03:44, 2.68s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:45<03:41, 2.67s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:48<03:39, 2.68s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:50<03:36, 2.68s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:53<03:34, 2.68s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:56<03:31, 2.68s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [00:58<03:29, 2.68s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:01<03:26, 2.69s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:04<03:23, 2.68s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:07<03:20, 2.68s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:09<03:18, 2.69s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:12<03:16, 2.69s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:15<03:13, 2.69s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:17<03:10, 2.68s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:20<03:08, 2.69s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:23<03:05, 2.68s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:25<03:02, 2.68s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:28<02:59, 2.68s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:31<02:57, 2.68s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:33<02:55, 2.69s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:36<02:51, 2.68s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:39<02:49, 2.68s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:41<02:46, 2.69s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:44<02:43, 2.69s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:47<02:40, 2.68s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:50<02:38, 2.69s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:52<02:36, 2.69s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [01:55<02:33, 2.69s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [01:58<02:29, 2.67s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:00<02:26, 2.67s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:03<02:24, 2.67s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:06<02:23, 2.70s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:08<02:20, 2.70s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:11<02:17, 2.69s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:14<02:14, 2.69s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:16<02:11, 2.69s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:19<02:08, 2.68s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:22<02:06, 2.70s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:24<02:04, 2.70s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:27<02:01, 2.70s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:30<01:59, 2.71s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:33<01:55, 2.69s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:35<01:52, 2.69s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:38<01:50, 2.69s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:41<01:47, 2.68s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:43<01:44, 2.68s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:46<01:41, 2.68s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:49<01:39, 2.68s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [02:51<01:36, 2.68s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [02:54<01:33, 2.68s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [02:57<01:31, 2.68s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [02:59<01:28, 2.67s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:02<01:25, 2.68s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:05<01:22, 2.68s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:07<01:20, 2.68s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:10<01:17, 2.68s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:13<01:15, 2.69s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:15<01:12, 2.68s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:18<01:09, 2.68s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:21<01:06, 2.68s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:23<01:04, 2.68s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:26<01:01, 2.68s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:29<00:58, 2.68s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:32<00:56, 2.68s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:34<00:53, 2.69s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:37<00:50, 2.68s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:40<00:48, 2.68s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:42<00:45, 2.68s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:45<00:42, 2.68s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [03:48<00:40, 2.68s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [03:50<00:37, 2.68s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [03:53<00:34, 2.68s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [03:56<00:32, 2.69s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [03:58<00:29, 2.68s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:01<00:26, 2.68s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:04<00:24, 2.68s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:06<00:21, 2.69s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:09<00:18, 2.69s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:12<00:16, 2.68s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [04:14<00:13, 2.69s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:17<00:10, 2.68s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:20<00:08, 2.68s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:23<00:05, 2.69s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:25<00:02, 2.69s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:28<00:00, 2.68s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 400 0.001 DONE
1%|██▊ | 1/100 [00:02<04:15, 2.58s/it] 2%|█████▌ | 2/100 [00:05<04:10, 2.56s/it] 3%|████████▍ | 3/100 [00:07<04:06, 2.54s/it] 4%|███████████▏ | 4/100 [00:10<04:02, 2.52s/it] 5%|██████████████ | 5/100 [00:12<03:59, 2.52s/it] 6%|████████████████▊ | 6/100 [00:15<03:56, 2.52s/it] 7%|███████████████████▌ | 7/100 [00:17<03:53, 2.51s/it] 8%|██████████████████████▍ | 8/100 [00:20<03:50, 2.51s/it] 9%|█████████████████████████▏ | 9/100 [00:22<03:48, 2.51s/it] 10%|███████████████████████████▉ | 10/100 [00:25<03:46, 2.52s/it] 11%|██████████████████████████████▋ | 11/100 [00:27<03:47, 2.55s/it] 12%|█████████████████████████████████▍ | 12/100 [00:30<03:42, 2.53s/it] 13%|████████████████████████████████████▎ | 13/100 [00:32<03:39, 2.52s/it] 14%|███████████████████████████████████████ | 14/100 [00:35<03:37, 2.53s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:37<03:34, 2.52s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:40<03:31, 2.52s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:42<03:28, 2.51s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:45<03:25, 2.51s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:47<03:23, 2.51s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:50<03:20, 2.51s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:52<03:17, 2.50s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [00:55<03:15, 2.51s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [00:57<03:13, 2.51s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:00<03:10, 2.51s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:02<03:08, 2.51s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:05<03:05, 2.50s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:07<03:03, 2.51s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:10<03:00, 2.50s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:12<02:57, 2.50s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:15<02:55, 2.50s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:17<02:52, 2.51s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:20<02:50, 2.51s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:22<02:48, 2.51s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:25<02:45, 2.51s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:27<02:43, 2.52s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:30<02:41, 2.52s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:32<02:38, 2.51s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:35<02:36, 2.52s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:38<02:34, 2.52s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:40<02:31, 2.53s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:43<02:28, 2.52s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:45<02:25, 2.51s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [01:48<02:23, 2.51s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [01:50<02:20, 2.52s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [01:53<02:18, 2.52s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [01:55<02:16, 2.54s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [01:58<02:14, 2.54s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:00<02:11, 2.53s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:03<02:08, 2.52s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:05<02:05, 2.52s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:08<02:03, 2.51s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:10<02:00, 2.51s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:13<01:57, 2.51s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:15<01:55, 2.52s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:18<01:53, 2.51s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:20<01:50, 2.51s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:23<01:47, 2.50s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:25<01:45, 2.51s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:28<01:43, 2.52s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:30<01:40, 2.52s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:33<01:38, 2.52s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:35<01:35, 2.53s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:38<01:33, 2.51s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [02:40<01:30, 2.51s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [02:43<01:27, 2.51s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [02:45<01:25, 2.51s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [02:48<01:23, 2.52s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [02:51<01:20, 2.52s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [02:53<01:17, 2.51s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [02:56<01:15, 2.51s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [02:58<01:12, 2.51s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:01<01:10, 2.50s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:03<01:07, 2.50s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:06<01:05, 2.50s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:08<01:02, 2.50s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:11<01:00, 2.50s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:13<00:57, 2.51s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:16<00:55, 2.51s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:18<00:52, 2.51s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:21<00:50, 2.51s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:23<00:47, 2.51s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:26<00:45, 2.51s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:28<00:42, 2.52s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:31<00:40, 2.52s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [03:33<00:37, 2.51s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [03:36<00:35, 2.51s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [03:38<00:32, 2.51s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [03:41<00:30, 2.51s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [03:43<00:27, 2.52s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [03:46<00:25, 2.52s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [03:48<00:22, 2.52s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [03:51<00:20, 2.51s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [03:53<00:17, 2.54s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [03:56<00:15, 2.54s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [03:58<00:12, 2.53s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:01<00:10, 2.52s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:03<00:07, 2.52s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:06<00:05, 2.52s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:08<00:02, 2.51s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00, 2.51s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 100 400 0.001 DONE NEW LOOP
1%|██▊ | 1/100 [00:04<07:32, 4.57s/it] 2%|█████▌ | 2/100 [00:09<07:25, 4.55s/it] 3%|████████▍ | 3/100 [00:13<07:18, 4.52s/it] 4%|███████████▏ | 4/100 [00:18<07:16, 4.54s/it] 5%|██████████████ | 5/100 [00:22<07:10, 4.53s/it] 6%|████████████████▊ | 6/100 [00:27<07:08, 4.55s/it] 7%|███████████████████▌ | 7/100 [00:31<07:01, 4.53s/it] 8%|██████████████████████▍ | 8/100 [00:36<06:55, 4.52s/it] 9%|█████████████████████████▏ | 9/100 [00:40<06:50, 4.51s/it] 10%|███████████████████████████▉ | 10/100 [00:45<06:45, 4.50s/it] 11%|██████████████████████████████▋ | 11/100 [00:49<06:41, 4.52s/it] 12%|█████████████████████████████████▍ | 12/100 [00:54<06:36, 4.51s/it] 13%|████████████████████████████████████▎ | 13/100 [00:58<06:31, 4.51s/it] 14%|███████████████████████████████████████ | 14/100 [01:03<06:27, 4.51s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:07<06:23, 4.51s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:12<06:19, 4.51s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:16<06:14, 4.52s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:21<06:09, 4.51s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:25<06:05, 4.51s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:30<06:00, 4.51s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:34<05:55, 4.50s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:39<05:51, 4.50s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:43<05:47, 4.51s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:48<05:42, 4.51s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:52<05:37, 4.50s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:57<05:32, 4.49s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [02:01<05:27, 4.49s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [02:06<05:24, 4.50s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [02:10<05:18, 4.49s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:15<05:14, 4.49s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:19<05:10, 4.50s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:24<05:06, 4.51s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:28<05:02, 4.52s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:33<04:57, 4.51s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:37<04:52, 4.50s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:42<04:47, 4.50s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:46<04:43, 4.49s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:51<04:38, 4.50s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:55<04:33, 4.48s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [03:00<04:28, 4.48s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [03:04<04:24, 4.48s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [03:09<04:19, 4.48s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [03:13<04:15, 4.48s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [03:18<04:11, 4.49s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:22<04:06, 4.49s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:27<04:03, 4.50s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:31<03:58, 4.49s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:36<03:53, 4.49s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:40<03:48, 4.48s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:45<03:44, 4.49s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [03:49<03:40, 4.50s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [03:54<03:35, 4.48s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [03:58<03:30, 4.48s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [04:02<03:26, 4.48s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [04:07<03:21, 4.47s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [04:11<03:16, 4.47s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [04:16<03:12, 4.47s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [04:20<03:07, 4.48s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:25<03:03, 4.47s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:29<02:58, 4.47s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:34<02:54, 4.47s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:38<02:49, 4.47s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:43<02:45, 4.48s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [04:47<02:41, 4.48s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [04:52<02:36, 4.48s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [04:56<02:32, 4.48s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [05:01<02:27, 4.48s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [05:05<02:23, 4.48s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [05:10<02:18, 4.48s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [05:14<02:14, 4.47s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [05:19<02:09, 4.48s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [05:23<02:05, 4.49s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [05:28<02:01, 4.49s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:32<01:56, 4.48s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:37<01:52, 4.49s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:41<01:47, 4.49s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [05:46<01:43, 4.51s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [05:50<01:39, 4.51s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [05:55<01:34, 4.49s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [05:59<01:29, 4.50s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [06:04<01:25, 4.51s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [06:08<01:21, 4.54s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [06:13<01:17, 4.56s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [06:17<01:12, 4.54s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [06:22<01:07, 4.52s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [06:26<01:03, 4.51s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [06:31<00:58, 4.50s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [06:35<00:53, 4.49s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [06:40<00:49, 4.48s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [06:44<00:44, 4.48s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [06:49<00:40, 4.48s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [06:53<00:35, 4.47s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [06:58<00:31, 4.48s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [07:02<00:26, 4.48s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [07:07<00:22, 4.48s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [07:11<00:17, 4.48s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [07:15<00:13, 4.48s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [07:20<00:08, 4.48s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [07:24<00:04, 4.48s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:29<00:00, 4.49s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 400 0.01 DONE
1%|██▊ | 1/100 [00:02<04:28, 2.72s/it] 2%|█████▌ | 2/100 [00:05<04:24, 2.70s/it] 3%|████████▍ | 3/100 [00:08<04:20, 2.68s/it] 4%|███████████▏ | 4/100 [00:10<04:17, 2.68s/it] 5%|██████████████ | 5/100 [00:13<04:16, 2.70s/it] 6%|████████████████▊ | 6/100 [00:16<04:12, 2.69s/it] 7%|███████████████████▌ | 7/100 [00:18<04:10, 2.69s/it] 8%|██████████████████████▍ | 8/100 [00:21<04:07, 2.69s/it] 9%|█████████████████████████▏ | 9/100 [00:24<04:04, 2.68s/it] 10%|███████████████████████████▉ | 10/100 [00:26<04:01, 2.68s/it] 11%|██████████████████████████████▋ | 11/100 [00:29<03:57, 2.67s/it] 12%|█████████████████████████████████▍ | 12/100 [00:32<03:55, 2.67s/it] 13%|████████████████████████████████████▎ | 13/100 [00:34<03:52, 2.67s/it] 14%|███████████████████████████████████████ | 14/100 [00:37<03:49, 2.67s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:40<03:46, 2.66s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:42<03:43, 2.67s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:45<03:41, 2.66s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:48<03:38, 2.66s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:50<03:35, 2.66s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:53<03:33, 2.67s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:56<03:31, 2.68s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [00:58<03:28, 2.68s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:01<03:26, 2.68s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:04<03:23, 2.68s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:06<03:20, 2.68s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:09<03:17, 2.67s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:12<03:15, 2.67s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:14<03:12, 2.67s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:17<03:09, 2.67s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:20<03:06, 2.67s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:22<03:03, 2.66s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:25<03:01, 2.67s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:28<02:58, 2.67s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:30<02:55, 2.66s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:33<02:53, 2.67s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:36<02:50, 2.66s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:38<02:48, 2.67s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:41<02:45, 2.67s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:44<02:43, 2.68s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:46<02:40, 2.67s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:49<02:37, 2.67s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:52<02:35, 2.68s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [01:54<02:32, 2.68s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [01:57<02:29, 2.68s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:00<02:27, 2.67s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:02<02:24, 2.68s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:05<02:21, 2.68s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:08<02:19, 2.68s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:10<02:16, 2.68s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:13<02:14, 2.69s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:16<02:11, 2.69s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:19<02:08, 2.68s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:21<02:05, 2.68s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:24<02:03, 2.68s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:27<02:00, 2.67s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:29<01:57, 2.67s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:32<01:54, 2.67s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:35<01:52, 2.68s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:37<01:49, 2.68s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:40<01:46, 2.67s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:43<01:44, 2.67s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:45<01:41, 2.67s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:48<01:38, 2.67s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [02:51<01:36, 2.67s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [02:53<01:33, 2.68s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [02:56<01:31, 2.69s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [02:59<01:28, 2.68s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:01<01:25, 2.67s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:04<01:22, 2.68s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:07<01:20, 2.68s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:09<01:17, 2.68s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:12<01:14, 2.68s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:15<01:12, 2.68s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:17<01:09, 2.67s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:20<01:06, 2.66s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:23<01:03, 2.67s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:25<01:01, 2.67s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:28<00:58, 2.67s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:31<00:55, 2.67s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:33<00:53, 2.67s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:36<00:50, 2.67s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:39<00:48, 2.67s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:41<00:45, 2.67s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:44<00:42, 2.67s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [03:47<00:40, 2.68s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [03:50<00:37, 2.71s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [03:52<00:35, 2.70s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [03:55<00:32, 2.70s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [03:58<00:29, 2.68s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:00<00:26, 2.68s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:03<00:24, 2.69s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:06<00:21, 2.68s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:08<00:18, 2.68s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:11<00:16, 2.67s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [04:14<00:13, 2.70s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:16<00:10, 2.70s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:19<00:08, 2.69s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:22<00:05, 2.69s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:24<00:02, 2.69s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:27<00:00, 2.68s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 400 0.01 DONE
1%|██▊ | 1/100 [00:02<04:11, 2.54s/it] 2%|█████▌ | 2/100 [00:05<04:07, 2.53s/it] 3%|████████▍ | 3/100 [00:07<04:05, 2.53s/it] 4%|███████████▏ | 4/100 [00:10<04:02, 2.52s/it] 5%|██████████████ | 5/100 [00:12<03:59, 2.52s/it] 6%|████████████████▊ | 6/100 [00:15<03:55, 2.51s/it] 7%|███████████████████▌ | 7/100 [00:17<03:53, 2.51s/it] 8%|██████████████████████▍ | 8/100 [00:20<03:51, 2.51s/it] 9%|█████████████████████████▏ | 9/100 [00:22<03:48, 2.51s/it] 10%|███████████████████████████▉ | 10/100 [00:25<03:45, 2.51s/it] 11%|██████████████████████████████▋ | 11/100 [00:27<03:44, 2.52s/it] 12%|█████████████████████████████████▍ | 12/100 [00:30<03:42, 2.53s/it] 13%|████████████████████████████████████▎ | 13/100 [00:32<03:39, 2.52s/it] 14%|███████████████████████████████████████ | 14/100 [00:35<03:35, 2.51s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:37<03:33, 2.51s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:40<03:31, 2.51s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:42<03:28, 2.51s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:45<03:25, 2.51s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:47<03:23, 2.51s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:50<03:20, 2.51s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:52<03:18, 2.51s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [00:55<03:15, 2.51s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [00:57<03:12, 2.50s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:00<03:10, 2.50s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:02<03:07, 2.50s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:05<03:05, 2.51s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:07<03:02, 2.51s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:10<03:00, 2.51s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:12<02:58, 2.51s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:15<02:55, 2.51s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:17<02:53, 2.52s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:20<02:50, 2.51s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:22<02:48, 2.51s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:25<02:45, 2.50s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:27<02:42, 2.50s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:30<02:40, 2.51s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:32<02:38, 2.51s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:35<02:35, 2.51s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:37<02:33, 2.51s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:40<02:30, 2.52s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:42<02:28, 2.51s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:45<02:26, 2.52s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [01:48<02:24, 2.53s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [01:50<02:21, 2.53s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [01:53<02:18, 2.52s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [01:55<02:16, 2.52s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [01:58<02:13, 2.52s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:00<02:10, 2.52s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:03<02:07, 2.51s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:05<02:05, 2.50s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:08<02:02, 2.50s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:10<02:00, 2.51s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:13<01:57, 2.51s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:15<01:55, 2.50s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:18<01:52, 2.51s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:20<01:50, 2.51s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:23<01:47, 2.50s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:25<01:45, 2.51s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:28<01:42, 2.51s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:30<01:40, 2.51s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:33<01:37, 2.51s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:35<01:35, 2.51s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:38<01:32, 2.51s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [02:40<01:30, 2.51s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [02:43<01:27, 2.51s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [02:45<01:25, 2.51s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [02:48<01:22, 2.51s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [02:50<01:20, 2.50s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [02:53<01:17, 2.50s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [02:55<01:15, 2.50s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [02:58<01:12, 2.50s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:00<01:10, 2.50s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:03<01:07, 2.50s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:05<01:05, 2.51s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:08<01:02, 2.52s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:10<01:00, 2.51s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:13<00:57, 2.51s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:15<00:55, 2.51s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:18<00:52, 2.51s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:20<00:50, 2.51s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:23<00:47, 2.51s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:25<00:45, 2.51s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:28<00:42, 2.52s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:30<00:40, 2.52s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [03:33<00:37, 2.51s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [03:35<00:35, 2.51s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [03:38<00:32, 2.51s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [03:40<00:30, 2.52s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [03:43<00:27, 2.51s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [03:45<00:25, 2.52s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [03:48<00:22, 2.51s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [03:50<00:20, 2.52s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [03:53<00:17, 2.51s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [03:56<00:15, 2.52s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [03:58<00:12, 2.51s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:01<00:10, 2.52s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:03<00:07, 2.52s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:06<00:05, 2.52s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:08<00:02, 2.52s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00, 2.51s/it] 0%| | 0/100 [00:00<?, ?it/s]
SGD 100 400 0.01 DONE NEW LOOP
1%|██▊ | 1/100 [00:04<07:30, 4.55s/it] 2%|█████▌ | 2/100 [00:09<07:24, 4.54s/it] 3%|████████▍ | 3/100 [00:13<07:18, 4.52s/it] 4%|███████████▏ | 4/100 [00:18<07:13, 4.52s/it] 5%|██████████████ | 5/100 [00:22<07:08, 4.51s/it] 6%|████████████████▊ | 6/100 [00:27<07:03, 4.51s/it] 7%|███████████████████▌ | 7/100 [00:31<06:59, 4.51s/it] 8%|██████████████████████▍ | 8/100 [00:36<06:55, 4.51s/it] 9%|█████████████████████████▏ | 9/100 [00:40<06:50, 4.51s/it] 10%|███████████████████████████▉ | 10/100 [00:45<06:45, 4.50s/it] 11%|██████████████████████████████▋ | 11/100 [00:49<06:40, 4.50s/it] 12%|█████████████████████████████████▍ | 12/100 [00:54<06:35, 4.50s/it] 13%|████████████████████████████████████▎ | 13/100 [00:58<06:31, 4.50s/it] 14%|███████████████████████████████████████ | 14/100 [01:03<06:26, 4.50s/it] 15%|█████████████████████████████████████████▊ | 15/100 [01:07<06:22, 4.50s/it] 16%|████████████████████████████████████████████▋ | 16/100 [01:12<06:17, 4.50s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [01:16<06:13, 4.51s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [01:21<06:10, 4.51s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [01:25<06:04, 4.50s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [01:30<06:00, 4.51s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [01:34<05:58, 4.53s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [01:39<05:52, 4.52s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:43<05:47, 4.52s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:48<05:42, 4.50s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:52<05:37, 4.51s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:57<05:33, 4.50s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [02:01<05:28, 4.51s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [02:06<05:24, 4.51s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [02:10<05:20, 4.51s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [02:15<05:15, 4.50s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [02:19<05:10, 4.51s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [02:24<05:06, 4.51s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [02:28<05:01, 4.50s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [02:33<04:56, 4.49s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [02:37<04:51, 4.48s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [02:42<04:47, 4.49s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [02:46<04:42, 4.48s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [02:51<04:38, 4.49s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [02:55<04:33, 4.48s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [03:00<04:29, 4.49s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [03:04<04:24, 4.48s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [03:09<04:19, 4.47s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [03:13<04:15, 4.48s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [03:17<04:10, 4.48s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [03:22<04:06, 4.49s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [03:26<04:01, 4.48s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [03:31<03:57, 4.48s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [03:35<03:53, 4.50s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [03:40<03:48, 4.49s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [03:44<03:44, 4.48s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [03:49<03:39, 4.47s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [03:53<03:34, 4.47s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [03:58<03:30, 4.47s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [04:02<03:26, 4.48s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [04:07<03:21, 4.48s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [04:11<03:17, 4.49s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [04:16<03:13, 4.51s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [04:20<03:09, 4.50s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [04:25<03:04, 4.49s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [04:29<02:59, 4.49s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [04:34<02:54, 4.48s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [04:38<02:50, 4.48s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [04:43<02:45, 4.48s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [04:47<02:41, 4.47s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [04:52<02:36, 4.48s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [04:56<02:32, 4.48s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [05:01<02:28, 4.49s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [05:05<02:23, 4.49s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [05:10<02:19, 4.49s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [05:14<02:14, 4.50s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [05:19<02:10, 4.49s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [05:23<02:05, 4.49s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [05:28<02:00, 4.48s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [05:32<01:56, 4.47s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [05:37<01:52, 4.50s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [05:41<01:47, 4.49s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [05:46<01:43, 4.49s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [05:50<01:38, 4.48s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [05:54<01:34, 4.48s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [05:59<01:29, 4.48s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [06:03<01:25, 4.48s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [06:08<01:20, 4.48s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [06:12<01:16, 4.48s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [06:17<01:11, 4.49s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [06:21<01:07, 4.49s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [06:26<01:03, 4.51s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [06:30<00:58, 4.50s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [06:35<00:53, 4.50s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [06:39<00:49, 4.49s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [06:44<00:44, 4.50s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [06:48<00:40, 4.48s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [06:53<00:35, 4.49s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [06:57<00:31, 4.48s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [07:02<00:26, 4.48s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [07:06<00:22, 4.48s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [07:11<00:17, 4.47s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [07:15<00:13, 4.48s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [07:20<00:08, 4.48s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [07:24<00:04, 4.49s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:29<00:00, 4.49s/it] 0%| | 0/100 [00:00<?, ?it/s]
NADAM 100 400 0.005 DONE
1%|██▊ | 1/100 [00:02<04:29, 2.72s/it] 2%|█████▌ | 2/100 [00:05<04:27, 2.73s/it] 3%|████████▍ | 3/100 [00:08<04:23, 2.71s/it] 4%|███████████▏ | 4/100 [00:10<04:19, 2.70s/it] 5%|██████████████ | 5/100 [00:13<04:15, 2.69s/it] 6%|████████████████▊ | 6/100 [00:16<04:11, 2.68s/it] 7%|███████████████████▌ | 7/100 [00:18<04:08, 2.67s/it] 8%|██████████████████████▍ | 8/100 [00:21<04:05, 2.67s/it] 9%|█████████████████████████▏ | 9/100 [00:24<04:02, 2.67s/it] 10%|███████████████████████████▉ | 10/100 [00:26<04:00, 2.67s/it] 11%|██████████████████████████████▋ | 11/100 [00:29<03:58, 2.67s/it] 12%|█████████████████████████████████▍ | 12/100 [00:32<03:54, 2.67s/it] 13%|████████████████████████████████████▎ | 13/100 [00:34<03:52, 2.67s/it] 14%|███████████████████████████████████████ | 14/100 [00:37<03:50, 2.68s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:40<03:47, 2.68s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:42<03:44, 2.68s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:45<03:41, 2.67s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:48<03:38, 2.67s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:50<03:35, 2.67s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:53<03:33, 2.67s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:56<03:31, 2.67s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [00:58<03:28, 2.67s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [01:01<03:25, 2.67s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:04<03:23, 2.67s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:06<03:21, 2.68s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:09<03:17, 2.67s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:12<03:14, 2.67s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:14<03:12, 2.68s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:17<03:09, 2.67s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:20<03:06, 2.67s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:22<03:03, 2.66s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:25<03:01, 2.67s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:28<02:59, 2.68s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:30<02:56, 2.67s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:33<02:53, 2.67s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:36<02:51, 2.69s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:39<02:48, 2.68s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:41<02:46, 2.68s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:44<02:43, 2.67s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:47<02:41, 2.69s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:49<02:37, 2.68s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:52<02:34, 2.67s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [01:55<02:32, 2.67s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [01:57<02:29, 2.67s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [02:00<02:26, 2.67s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [02:03<02:24, 2.67s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [02:05<02:22, 2.68s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:08<02:19, 2.68s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:11<02:16, 2.67s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:13<02:13, 2.67s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:16<02:11, 2.67s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:19<02:08, 2.67s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:21<02:05, 2.68s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:24<02:03, 2.69s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:27<02:00, 2.69s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:29<01:57, 2.68s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:32<01:55, 2.68s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:35<01:52, 2.68s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:37<01:49, 2.68s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:40<01:47, 2.68s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:43<01:45, 2.71s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:46<01:42, 2.71s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:48<01:39, 2.70s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [02:51<01:36, 2.68s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [02:54<01:33, 2.68s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [02:56<01:31, 2.69s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [02:59<01:28, 2.68s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [03:02<01:25, 2.68s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [03:04<01:23, 2.69s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [03:07<01:20, 2.68s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [03:10<01:18, 2.69s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:12<01:15, 2.68s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:15<01:12, 2.67s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:18<01:09, 2.68s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:20<01:06, 2.67s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:23<01:03, 2.67s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:26<01:01, 2.67s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:28<00:58, 2.67s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:31<00:55, 2.66s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:34<00:53, 2.66s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:36<00:50, 2.67s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:39<00:48, 2.68s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:42<00:45, 2.68s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:44<00:42, 2.68s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [03:47<00:40, 2.68s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [03:50<00:37, 2.69s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [03:52<00:34, 2.69s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [03:55<00:32, 2.68s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [03:58<00:29, 2.69s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [04:01<00:28, 2.84s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [04:04<00:25, 2.82s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [04:07<00:22, 2.79s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [04:09<00:19, 2.76s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [04:12<00:16, 2.74s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [04:15<00:13, 2.71s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:17<00:10, 2.70s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:20<00:08, 2.69s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:23<00:05, 2.69s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:25<00:02, 2.68s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:28<00:00, 2.68s/it] 0%| | 0/100 [00:00<?, ?it/s]
ADAM 100 400 0.005 DONE
1%|██▊ | 1/100 [00:02<04:12, 2.55s/it] 2%|█████▌ | 2/100 [00:05<04:10, 2.55s/it] 3%|████████▍ | 3/100 [00:07<04:06, 2.54s/it] 4%|███████████▏ | 4/100 [00:10<04:03, 2.54s/it] 5%|██████████████ | 5/100 [00:12<04:00, 2.53s/it] 6%|████████████████▊ | 6/100 [00:15<03:57, 2.52s/it] 7%|███████████████████▌ | 7/100 [00:17<03:54, 2.52s/it] 8%|██████████████████████▍ | 8/100 [00:20<03:51, 2.52s/it] 9%|█████████████████████████▏ | 9/100 [00:22<03:48, 2.51s/it] 10%|███████████████████████████▉ | 10/100 [00:25<03:46, 2.51s/it] 11%|██████████████████████████████▋ | 11/100 [00:27<03:44, 2.52s/it] 12%|█████████████████████████████████▍ | 12/100 [00:30<03:41, 2.52s/it] 13%|████████████████████████████████████▎ | 13/100 [00:32<03:38, 2.52s/it] 14%|███████████████████████████████████████ | 14/100 [00:35<03:35, 2.51s/it] 15%|█████████████████████████████████████████▊ | 15/100 [00:37<03:32, 2.50s/it] 16%|████████████████████████████████████████████▋ | 16/100 [00:40<03:30, 2.50s/it] 17%|███████████████████████████████████████████████▍ | 17/100 [00:42<03:27, 2.50s/it] 18%|██████████████████████████████████████████████████▏ | 18/100 [00:45<03:24, 2.50s/it] 19%|█████████████████████████████████████████████████████ | 19/100 [00:47<03:22, 2.50s/it] 20%|███████████████████████████████████████████████████████▊ | 20/100 [00:50<03:20, 2.50s/it] 21%|██████████████████████████████████████████████████████████▌ | 21/100 [00:52<03:17, 2.50s/it] 22%|█████████████████████████████████████████████████████████████▍ | 22/100 [00:55<03:14, 2.50s/it] 23%|████████████████████████████████████████████████████████████████▏ | 23/100 [00:57<03:12, 2.50s/it] 24%|██████████████████████████████████████████████████████████████████▉ | 24/100 [01:00<03:10, 2.51s/it] 25%|█████████████████████████████████████████████████████████████████████▊ | 25/100 [01:02<03:08, 2.51s/it] 26%|████████████████████████████████████████████████████████████████████████▌ | 26/100 [01:05<03:05, 2.51s/it] 27%|███████████████████████████████████████████████████████████████████████████▎ | 27/100 [01:07<03:03, 2.51s/it] 28%|██████████████████████████████████████████████████████████████████████████████ | 28/100 [01:10<03:00, 2.51s/it] 29%|████████████████████████████████████████████████████████████████████████████████▉ | 29/100 [01:12<02:58, 2.51s/it] 30%|███████████████████████████████████████████████████████████████████████████████████▋ | 30/100 [01:15<02:55, 2.51s/it] 31%|██████████████████████████████████████████████████████████████████████████████████████▍ | 31/100 [01:17<02:53, 2.51s/it] 32%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 32/100 [01:20<02:51, 2.51s/it] 33%|████████████████████████████████████████████████████████████████████████████████████████████ | 33/100 [01:22<02:48, 2.52s/it] 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 34/100 [01:25<02:46, 2.52s/it] 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/100 [01:27<02:43, 2.51s/it] 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 36/100 [01:30<02:40, 2.51s/it] 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 37/100 [01:32<02:38, 2.51s/it] 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 38/100 [01:35<02:35, 2.51s/it] 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 39/100 [01:37<02:33, 2.51s/it] 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 40/100 [01:40<02:30, 2.51s/it] 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 41/100 [01:42<02:27, 2.51s/it] 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 42/100 [01:45<02:25, 2.51s/it] 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 43/100 [01:47<02:22, 2.50s/it] 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 44/100 [01:50<02:20, 2.50s/it] 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 45/100 [01:53<02:17, 2.51s/it] 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 46/100 [01:55<02:15, 2.51s/it] 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 47/100 [01:58<02:13, 2.52s/it] 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 48/100 [02:00<02:10, 2.52s/it] 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 49/100 [02:03<02:08, 2.52s/it] 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 50/100 [02:05<02:05, 2.51s/it] 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 51/100 [02:08<02:02, 2.51s/it] 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 52/100 [02:10<02:00, 2.51s/it] 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 53/100 [02:13<01:57, 2.50s/it] 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 54/100 [02:15<01:55, 2.51s/it] 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 55/100 [02:18<01:53, 2.52s/it] 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 56/100 [02:20<01:50, 2.52s/it] 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 57/100 [02:23<01:47, 2.51s/it] 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 58/100 [02:25<01:45, 2.50s/it] 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 59/100 [02:28<01:42, 2.50s/it] 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 60/100 [02:30<01:40, 2.50s/it] 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/100 [02:33<01:37, 2.50s/it] 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 62/100 [02:35<01:34, 2.49s/it] 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 63/100 [02:38<01:32, 2.49s/it] 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 64/100 [02:40<01:30, 2.50s/it] 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/100 [02:43<01:27, 2.50s/it] 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 66/100 [02:45<01:24, 2.50s/it] 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 67/100 [02:48<01:22, 2.50s/it] 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 68/100 [02:50<01:20, 2.51s/it] 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 69/100 [02:53<01:17, 2.51s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 70/100 [02:55<01:15, 2.51s/it] 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 71/100 [02:58<01:12, 2.51s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 72/100 [03:00<01:10, 2.51s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 73/100 [03:03<01:07, 2.51s/it] 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/100 [03:05<01:05, 2.50s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 75/100 [03:08<01:02, 2.51s/it] 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 76/100 [03:10<01:00, 2.51s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 77/100 [03:13<00:57, 2.52s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 78/100 [03:15<00:55, 2.52s/it] 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 79/100 [03:18<00:52, 2.51s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 80/100 [03:20<00:50, 2.51s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 81/100 [03:23<00:47, 2.51s/it] 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 82/100 [03:25<00:45, 2.51s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 83/100 [03:28<00:42, 2.50s/it] 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 84/100 [03:30<00:40, 2.50s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 85/100 [03:33<00:37, 2.50s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 86/100 [03:35<00:35, 2.51s/it] 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 87/100 [03:38<00:32, 2.52s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 88/100 [03:40<00:30, 2.52s/it] 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 89/100 [03:43<00:27, 2.52s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 90/100 [03:45<00:25, 2.51s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 91/100 [03:48<00:22, 2.52s/it] 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 92/100 [03:50<00:20, 2.52s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 93/100 [03:53<00:17, 2.52s/it] 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 94/100 [03:55<00:15, 2.51s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 95/100 [03:58<00:12, 2.51s/it] 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 96/100 [04:00<00:10, 2.51s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 97/100 [04:03<00:07, 2.51s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 98/100 [04:06<00:05, 2.52s/it] 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 99/100 [04:08<00:02, 2.53s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00, 2.51s/it]
SGD 100 400 0.005 DONE
import pandas as pd
history_competition=pd.read_csv("MLP_PARAMS_2.csv")
pd.options.display.max_rows = 4000
history_competition.sort_values(by=['Fscore'],ascending=False)
| Loss | Accuracy | Fscore | layers | weights | biases | units | optim | lr | batch size | epochs | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 64 | 5.358891 | 0.284558 | 0.275329 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 200.0 | 100.0 |
| 28 | 3.488418 | 0.268038 | 0.272130 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 100.0 | 50.0 |
| 27 | 3.187775 | 0.265678 | 0.255621 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 100.0 | 50.0 |
| 37 | 3.053844 | 0.240728 | 0.246001 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 200.0 | 50.0 |
| 73 | 3.898921 | 0.250506 | 0.245556 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 400.0 | 100.0 |
| 54 | 4.343975 | 0.256237 | 0.244087 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 100.0 | 100.0 |
| 55 | 6.385560 | 0.257249 | 0.242011 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 100.0 | 100.0 |
| 62 | 2.407799 | 0.255226 | 0.240534 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 100.0 | 100.0 |
| 32 | 2.344236 | 0.242751 | 0.239133 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 100.0 | 50.0 |
| 46 | 2.638489 | 0.238705 | 0.235545 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 400.0 | 50.0 |
| 59 | 3.013742 | 0.274444 | 0.224760 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 100.0 | 100.0 |
| 10 | 2.429786 | 0.238031 | 0.221636 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 200.0 | 25.0 |
| 0 | 2.444752 | 0.238031 | 0.221121 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 100.0 | 25.0 |
| 68 | 2.471185 | 0.261295 | 0.217037 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 200.0 | 100.0 |
| 1 | 2.563978 | 0.247134 | 0.209686 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 100.0 | 25.0 |
| 72 | 2.838919 | 0.236345 | 0.202449 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 400.0 | 100.0 |
| 35 | 2.299524 | 0.256575 | 0.199594 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 100.0 | 50.0 |
| 71 | 2.336547 | 0.249494 | 0.199266 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 200.0 | 100.0 |
| 77 | 2.366196 | 0.232974 | 0.197617 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 400.0 | 100.0 |
| 41 | 2.291410 | 0.257586 | 0.196105 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 200.0 | 50.0 |
| 36 | 2.994898 | 0.235671 | 0.193166 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 200.0 | 50.0 |
| 63 | 4.851068 | 0.182063 | 0.190086 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 200.0 | 100.0 |
| 19 | 2.418963 | 0.230276 | 0.189865 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.001 | 400.0 | 25.0 |
| 5 | 2.322507 | 0.239042 | 0.187623 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 100.0 | 25.0 |
| 56 | 2.333293 | 0.241065 | 0.186397 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 100.0 | 100.0 |
| 80 | 2.337733 | 0.223871 | 0.184408 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 400.0 | 100.0 |
| 8 | 2.325088 | 0.240391 | 0.180724 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 100.0 | 25.0 |
| 45 | 2.580216 | 0.217465 | 0.177267 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 400.0 | 50.0 |
| 44 | 2.334978 | 0.238705 | 0.174018 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 200.0 | 50.0 |
| 50 | 2.328487 | 0.242077 | 0.165335 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 400.0 | 50.0 |
| 17 | 2.360751 | 0.229939 | 0.162259 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 200.0 | 25.0 |
| 14 | 2.338974 | 0.241065 | 0.150125 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 200.0 | 25.0 |
| 29 | 2.361950 | 0.230276 | 0.145663 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 100.0 | 50.0 |
| 65 | 2.363729 | 0.232637 | 0.145073 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 200.0 | 100.0 |
| 9 | 2.743599 | 0.200270 | 0.136354 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 200.0 | 25.0 |
| 38 | 2.409412 | 0.213756 | 0.127948 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 200.0 | 50.0 |
| 53 | 2.365099 | 0.218139 | 0.124627 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 400.0 | 50.0 |
| 74 | 2.412102 | 0.212070 | 0.123800 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 400.0 | 100.0 |
| 18 | 2.615246 | 0.161834 | 0.119176 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.001 | 400.0 | 25.0 |
| 26 | 2.428405 | 0.213082 | 0.109760 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.005 | 400.0 | 25.0 |
| 2 | 2.430303 | 0.196561 | 0.106637 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 100.0 | 25.0 |
| 47 | 2.467147 | 0.187121 | 0.100612 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 400.0 | 50.0 |
| 23 | 2.501509 | 0.160486 | 0.094135 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.010 | 400.0 | 25.0 |
| 11 | 2.464169 | 0.191841 | 0.089822 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 200.0 | 25.0 |
| 20 | 2.503372 | 0.178692 | 0.061598 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | SGD | 0.001 | 400.0 | 25.0 |
| 39 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 200.0 | 50.0 |
| 4 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 100.0 | 25.0 |
| 7 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 100.0 | 25.0 |
| 67 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 200.0 | 100.0 |
| 66 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 200.0 | 100.0 |
| 30 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 100.0 | 50.0 |
| 31 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 100.0 | 50.0 |
| 12 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 200.0 | 25.0 |
| 58 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 100.0 | 100.0 |
| 57 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 100.0 | 100.0 |
| 3 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 100.0 | 25.0 |
| 75 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 400.0 | 100.0 |
| 76 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 400.0 | 100.0 |
| 52 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 400.0 | 50.0 |
| 49 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 400.0 | 50.0 |
| 48 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 400.0 | 50.0 |
| 22 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 400.0 | 25.0 |
| 21 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.010 | 400.0 | 25.0 |
| 43 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 200.0 | 50.0 |
| 42 | 13.411815 | 0.167903 | 0.020538 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 200.0 | 50.0 |
| 25 | 14.351950 | 0.109575 | 0.014108 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 400.0 | 25.0 |
| 78 | 14.351947 | 0.109575 | 0.014108 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 400.0 | 100.0 |
| 61 | 14.351950 | 0.109575 | 0.014108 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 100.0 | 100.0 |
| 16 | 14.351950 | 0.109575 | 0.014108 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 200.0 | 25.0 |
| 69 | 14.351950 | 0.109575 | 0.014108 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 200.0 | 100.0 |
| 13 | 14.351950 | 0.109575 | 0.014108 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 200.0 | 25.0 |
| 24 | 14.770391 | 0.083614 | 0.011023 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 400.0 | 25.0 |
| 40 | 14.770391 | 0.083614 | 0.011023 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.010 | 200.0 | 50.0 |
| 70 | 14.846472 | 0.078894 | 0.010446 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 200.0 | 100.0 |
| 79 | 14.927987 | 0.073837 | 0.009823 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 400.0 | 100.0 |
| 6 | 15.080148 | 0.064396 | 0.008643 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 100.0 | 25.0 |
| 33 | 15.259480 | 0.053270 | 0.007225 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 100.0 | 50.0 |
| 15 | 15.259480 | 0.053270 | 0.007225 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 200.0 | 25.0 |
| 51 | 15.259480 | 0.053270 | 0.007225 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 400.0 | 50.0 |
| 34 | 15.259480 | 0.053270 | 0.007225 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Adam | 0.005 | 100.0 | 50.0 |
| 60 | 15.406206 | 0.044167 | 0.006043 | 2 | ('random_normal_initializer',) | ('random_normal_initializer',) | 256 | Nadam | 0.005 | 100.0 | 100.0 |
model=MLP()
model.compile(layers=2,
units=256,
initializer_weights=tf.random_normal_initializer,
initializer_bias=tf.random_normal_initializer,
batch=200,
optim=tf.keras.optimizers.Nadam(learning_rate=0.001),
epoch=100)
history, history_test, history_valid = model.fit(dataset=images,labels_train=labels,epochs=100,dataset_test=images_test, dataset_valid=images_valid, labels_test=labels_test, labels_valid=labels_valid,batch=200)
100%|████████████████████████████████████████████████████████████████████████████████| 100/100 [02:29<00:00, 1.49s/it]
history = pd.DataFrame(history)
tmp = pd.DataFrame(history_test).add_prefix('test_')
tmp2= pd.DataFrame(history_valid).add_prefix('valid_')
results= pd.concat([tmp,tmp2],axis=1)
results= pd.concat([results,history],axis=1)
results
| test_Loss | test_Accuracy | test_Fscore | valid_Loss | valid_Accuracy | valid_Fscore | Loss | Accuracy | Fscore | |
|---|---|---|---|---|---|---|---|---|---|
| 0 | 2.529044 | 0.184086 | 0.049964 | 2.539129 | (0.17813765182186234, 0.04595097475109721) | 0.049964 | 2.709586 | 0.178692 | 0.044646 |
| 1 | 2.452564 | 0.189144 | 0.082559 | 2.466750 | (0.18454790823211875, 0.07901322097794042) | 0.082559 | 2.469884 | 0.197520 | 0.094576 |
| 2 | 2.554003 | 0.139919 | 0.077272 | 2.548983 | (0.1420377867746289, 0.07839456436480872) | 0.077272 | 2.429084 | 0.151747 | 0.083289 |
| 3 | 2.470727 | 0.153068 | 0.077490 | 2.478563 | (0.15215924426450742, 0.07877101879072228) | 0.077490 | 2.408594 | 0.166742 | 0.092759 |
| 4 | 2.413075 | 0.202630 | 0.134983 | 2.414292 | (0.19736842105263158, 0.128752282836218) | 0.134983 | 2.374476 | 0.219729 | 0.150188 |
| 5 | 2.419237 | 0.204316 | 0.157178 | 2.420052 | (0.19973009446693657, 0.1528431000714762) | 0.157178 | 2.341604 | 0.230778 | 0.182585 |
| 6 | 2.641297 | 0.152057 | 0.093977 | 2.624021 | (0.1572199730094467, 0.09736460295610412) | 0.093977 | 2.326790 | 0.167306 | 0.109732 |
| 7 | 2.395950 | 0.206339 | 0.151491 | 2.394372 | (0.20276653171390013, 0.1418432073568099) | 0.151491 | 2.318746 | 0.241488 | 0.179923 |
| 8 | 2.467972 | 0.202293 | 0.125621 | 2.459371 | (0.20276653171390013, 0.12280104837460694) | 0.125621 | 2.274464 | 0.230778 | 0.150431 |
| 9 | 2.429583 | 0.169589 | 0.143993 | 2.431967 | (0.1747638326585695, 0.14702857066678185) | 0.143993 | 2.272833 | 0.222886 | 0.193673 |
| 10 | 2.328012 | 0.237020 | 0.158905 | 2.334301 | (0.23515519568151147, 0.15345969390417027) | 0.158905 | 2.233474 | 0.283427 | 0.202172 |
| 11 | 2.376043 | 0.209710 | 0.152963 | 2.363364 | (0.2233468286099865, 0.16156523062195666) | 0.152963 | 2.220207 | 0.267644 | 0.210915 |
| 12 | 2.520448 | 0.161834 | 0.124673 | 2.508741 | (0.16734143049932523, 0.1373638025659231) | 0.124673 | 2.184194 | 0.214656 | 0.182651 |
| 13 | 2.518088 | 0.203978 | 0.120008 | 2.518901 | (0.1926450742240216, 0.10820032021032268) | 0.120008 | 2.188489 | 0.227170 | 0.143995 |
| 14 | 2.509005 | 0.204653 | 0.157999 | 2.473092 | (0.21558704453441296, 0.15769799108690327) | 0.157999 | 2.152094 | 0.266404 | 0.210682 |
| 15 | 2.364761 | 0.234659 | 0.168472 | 2.346060 | (0.2408906882591093, 0.1799569793579443) | 0.168472 | 2.133380 | 0.308343 | 0.250956 |
| 16 | 2.452307 | 0.219825 | 0.159695 | 2.432385 | (0.2162618083670715, 0.15802994108719412) | 0.159695 | 2.119722 | 0.286133 | 0.221691 |
| 17 | 2.529145 | 0.207687 | 0.129575 | 2.528578 | (0.19736842105263158, 0.11734041575638665) | 0.129575 | 2.093160 | 0.257159 | 0.180944 |
| 18 | 2.598544 | 0.179366 | 0.153736 | 2.588562 | (0.18859649122807018, 0.16545277471463732) | 0.153736 | 2.056511 | 0.252988 | 0.226334 |
| 19 | 2.363426 | 0.238705 | 0.151343 | 2.355802 | (0.23785425101214575, 0.15692518020256166) | 0.151343 | 2.043784 | 0.321646 | 0.255408 |
| 20 | 2.431872 | 0.215105 | 0.168372 | 2.420557 | (0.2125506072874494, 0.16330500319190833) | 0.168372 | 2.012369 | 0.316460 | 0.275164 |
| 21 | 2.338538 | 0.252192 | 0.197802 | 2.324235 | (0.24865047233468285, 0.19641417955764892) | 0.197802 | 2.023008 | 0.380271 | 0.345236 |
| 22 | 2.543946 | 0.211396 | 0.141499 | 2.515146 | (0.20479082321187583, 0.13727806819982383) | 0.141499 | 2.016649 | 0.280834 | 0.222198 |
| 23 | 2.659749 | 0.167903 | 0.158855 | 2.635288 | (0.17341430499325236, 0.16115837511750786) | 0.158855 | 1.953059 | 0.275648 | 0.266310 |
| 24 | 2.659366 | 0.243088 | 0.156877 | 2.644775 | (0.23279352226720648, 0.14528489810735543) | 0.156877 | 1.949055 | 0.322773 | 0.242370 |
| 25 | 2.420882 | 0.234997 | 0.176462 | 2.425997 | (0.2324561403508772, 0.17303238230878418) | 0.176462 | 2.369622 | 0.336979 | 0.289022 |
| 26 | 2.395576 | 0.224882 | 0.193770 | 2.400070 | (0.2216599190283401, 0.19035838433433686) | 0.193770 | 1.937064 | 0.368658 | 0.342506 |
| 27 | 2.602285 | 0.206001 | 0.171874 | 2.598465 | (0.20985155195681512, 0.17049244765593533) | 0.171874 | 1.894349 | 0.315558 | 0.275636 |
| 28 | 2.511626 | 0.208024 | 0.165693 | 2.513806 | (0.21322537112010798, 0.16484937504405267) | 0.165693 | 1.858507 | 0.332018 | 0.288336 |
| 29 | 2.500727 | 0.226231 | 0.201006 | 2.495346 | (0.22064777327935223, 0.19283010972305745) | 0.201006 | 1.853490 | 0.374746 | 0.357635 |
| 30 | 2.503329 | 0.200607 | 0.160706 | 2.474345 | (0.19770580296896087, 0.15960648556444182) | 0.160706 | 1.977174 | 0.310147 | 0.282432 |
| 31 | 2.408514 | 0.224208 | 0.206500 | 2.392910 | (0.23380566801619435, 0.20796605738569077) | 0.206500 | 1.876202 | 0.393912 | 0.383584 |
| 32 | 2.627777 | 0.188132 | 0.187425 | 2.578896 | (0.20411605937921729, 0.20028669958441622) | 0.187425 | 1.817937 | 0.338670 | 0.345076 |
| 33 | 2.572114 | 0.220836 | 0.182505 | 2.571050 | (0.21322537112010798, 0.1790037256054954) | 0.182505 | 1.803776 | 0.360203 | 0.342488 |
| 34 | 2.606561 | 0.200944 | 0.192505 | 2.601208 | (0.1946693657219973, 0.17890771010332887) | 0.192505 | 1.783990 | 0.367531 | 0.370610 |
| 35 | 2.435854 | 0.247808 | 0.213712 | 2.410173 | (0.24527665317139002, 0.21069700594347948) | 0.213712 | 1.732159 | 0.438670 | 0.431008 |
| 36 | 2.540056 | 0.232637 | 0.215333 | 2.545989 | (0.22402159244264508, 0.20292748779531436) | 0.215333 | 1.712826 | 0.422097 | 0.408305 |
| 37 | 2.716013 | 0.203978 | 0.185414 | 2.710978 | (0.20951417004048584, 0.1834142760677347) | 0.185414 | 1.695599 | 0.356821 | 0.356809 |
| 38 | 2.806706 | 0.211396 | 0.193792 | 2.808136 | (0.20715249662618085, 0.18579550307238263) | 0.193792 | 1.682938 | 0.378918 | 0.356997 |
| 39 | 2.498842 | 0.240728 | 0.215052 | 2.499270 | (0.24696356275303644, 0.21576877374316722) | 0.215052 | 1.731914 | 0.462570 | 0.439850 |
| 40 | 2.620679 | 0.212407 | 0.196455 | 2.628163 | (0.20715249662618085, 0.18223486880417838) | 0.196455 | 1.596332 | 0.395716 | 0.383799 |
| 41 | 2.974588 | 0.183412 | 0.164054 | 3.018818 | (0.1720647773279352, 0.15613097334053228) | 0.164054 | 1.572925 | 0.320519 | 0.309294 |
| 42 | 2.742723 | 0.201618 | 0.171690 | 2.759597 | (0.1950067476383266, 0.16048219170439312) | 0.171690 | 1.647045 | 0.358737 | 0.346099 |
| 43 | 2.531920 | 0.263992 | 0.250890 | 2.518040 | (0.25573549257759787, 0.2440362936757082) | 0.250890 | 1.553931 | 0.505862 | 0.507409 |
| 44 | 3.075094 | 0.200270 | 0.169258 | 3.049379 | (0.19770580296896087, 0.16001633853316233) | 0.169258 | 1.566979 | 0.368207 | 0.331562 |
| 45 | 2.570449 | 0.244100 | 0.224142 | 2.565880 | (0.2388663967611336, 0.2214028314590127) | 0.224142 | 1.526312 | 0.502029 | 0.489095 |
| 46 | 2.818197 | 0.191167 | 0.187901 | 2.796440 | (0.19736842105263158, 0.19232357889500645) | 0.187901 | 1.491923 | 0.411387 | 0.411151 |
| 47 | 2.929079 | 0.187458 | 0.183159 | 2.916850 | (0.1946693657219973, 0.1907751752063609) | 0.183159 | 1.500997 | 0.379932 | 0.384709 |
| 48 | 3.018115 | 0.207687 | 0.171661 | 3.060565 | (0.19331983805668015, 0.1539433963990855) | 0.171661 | 1.452536 | 0.365614 | 0.336274 |
| 49 | 2.532748 | 0.268375 | 0.254380 | 2.518860 | (0.26214574898785425, 0.24711889815048843) | 0.254380 | 1.419145 | 0.588726 | 0.585951 |
| 50 | 2.680242 | 0.254214 | 0.240360 | 2.670534 | (0.24932523616734142, 0.2285617651710419) | 0.240360 | 1.358608 | 0.532582 | 0.536675 |
| 51 | 2.835821 | 0.249494 | 0.220138 | 2.861130 | (0.24561403508771928, 0.20871497719769994) | 0.220138 | 1.419180 | 0.507441 | 0.487057 |
| 52 | 2.644484 | 0.266689 | 0.241695 | 2.661561 | (0.2567476383265857, 0.22568018194530065) | 0.241695 | 1.343174 | 0.568658 | 0.559263 |
| 53 | 3.066290 | 0.182401 | 0.183912 | 3.083219 | (0.1858974358974359, 0.18376399040149294) | 0.183912 | 1.310104 | 0.394250 | 0.415503 |
| 54 | 2.731921 | 0.254889 | 0.223584 | 2.725339 | (0.2564102564102564, 0.2184987918727784) | 0.223584 | 1.389388 | 0.543743 | 0.517820 |
| 55 | 2.705044 | 0.246123 | 0.238066 | 2.700267 | (0.2543859649122807, 0.24190761839012528) | 0.238066 | 1.338880 | 0.577452 | 0.583269 |
| 56 | 2.695920 | 0.250506 | 0.242377 | 2.706066 | (0.24932523616734142, 0.23188729117352572) | 0.242377 | 1.299659 | 0.581962 | 0.592215 |
| 57 | 2.778490 | 0.240054 | 0.225332 | 2.793877 | (0.23751686909581646, 0.2223992764370956) | 0.225332 | 1.288026 | 0.550507 | 0.544182 |
| 58 | 2.817939 | 0.247471 | 0.244020 | 2.811125 | (0.247638326585695, 0.2418385385616904) | 0.244020 | 1.225512 | 0.577678 | 0.586037 |
| 59 | 3.472106 | 0.201955 | 0.168069 | 3.451824 | (0.19230769230769232, 0.16132649927257728) | 0.168069 | 1.225429 | 0.427057 | 0.371193 |
| 60 | 2.894010 | 0.244437 | 0.241418 | 2.853206 | (0.2543859649122807, 0.24905698469344614) | 0.241418 | 1.227810 | 0.603495 | 0.603070 |
| 61 | 3.118723 | 0.252192 | 0.237612 | 3.084859 | (0.24493927125506074, 0.22254972671637924) | 0.237612 | 1.161307 | 0.550056 | 0.545022 |
| 62 | 2.824880 | 0.255226 | 0.258546 | 2.792674 | (0.24628879892037786, 0.2467400968911071) | 0.258546 | 1.151415 | 0.665953 | 0.677112 |
| 63 | 3.065710 | 0.271072 | 0.228117 | 3.108086 | (0.25033738191632926, 0.2067555545913085) | 0.228117 | 1.104557 | 0.559301 | 0.529767 |
| 64 | 3.030791 | 0.237694 | 0.226699 | 3.019989 | (0.22503373819163291, 0.21564636863242548) | 0.226699 | 1.159816 | 0.587148 | 0.583561 |
| 65 | 3.012637 | 0.260958 | 0.240241 | 2.985557 | (0.2682186234817814, 0.23979365796959481) | 0.240241 | 1.037929 | 0.621759 | 0.614574 |
| 66 | 2.964460 | 0.247471 | 0.256786 | 2.948787 | (0.24595141700404857, 0.24695041812891705) | 0.256786 | 1.022357 | 0.668207 | 0.678748 |
| 67 | 3.294757 | 0.241065 | 0.223950 | 3.318937 | (0.23481781376518218, 0.20769624561426764) | 0.223950 | 1.022465 | 0.558399 | 0.553079 |
| 68 | 3.073484 | 0.242077 | 0.249886 | 3.063697 | (0.23717948717948717, 0.23769842659130222) | 0.249886 | 1.053699 | 0.622435 | 0.628094 |
| 69 | 3.453976 | 0.223533 | 0.205728 | 3.427282 | (0.21862348178137653, 0.1989470397014321) | 0.205728 | 1.053738 | 0.502368 | 0.479432 |
| 70 | 3.013431 | 0.259946 | 0.250427 | 2.980575 | (0.2675438596491228, 0.2536196870579691) | 0.250427 | 0.947340 | 0.707441 | 0.707495 |
| 71 | 3.192899 | 0.250506 | 0.235905 | 3.183632 | (0.25775978407557354, 0.24413596604984475) | 0.235905 | 0.971584 | 0.639684 | 0.638526 |
| 72 | 2.962909 | 0.271746 | 0.269333 | 2.960906 | (0.26788124156545207, 0.26485553549646806) | 0.269333 | 0.954528 | 0.726719 | 0.728097 |
| 73 | 3.277559 | 0.241403 | 0.250055 | 3.265971 | (0.2412280701754386, 0.24595054085405257) | 0.250055 | 0.873129 | 0.639346 | 0.651527 |
| 74 | 3.327241 | 0.218813 | 0.225891 | 3.315104 | (0.21828609986504724, 0.2277919340030477) | 0.225891 | 0.970794 | 0.611612 | 0.635978 |
| 75 | 3.151955 | 0.246797 | 0.255044 | 3.120140 | (0.24628879892037786, 0.2503457797307463) | 0.255044 | 0.922642 | 0.671702 | 0.684519 |
| 76 | 3.321274 | 0.258260 | 0.251544 | 3.243074 | (0.25573549257759787, 0.24927115206575248) | 0.251544 | 0.835310 | 0.704059 | 0.706440 |
| 77 | 3.924009 | 0.245111 | 0.205624 | 3.999104 | (0.22975708502024292, 0.19360309565811887) | 0.205624 | 0.809948 | 0.514543 | 0.503218 |
| 78 | 3.295342 | 0.276129 | 0.259261 | 3.303535 | (0.2699055330634278, 0.2511822786438896) | 0.259261 | 0.863891 | 0.686471 | 0.686120 |
| 79 | 3.156392 | 0.279838 | 0.276830 | 3.135488 | (0.2823886639676113, 0.2710012854346033) | 0.276830 | 0.862241 | 0.770462 | 0.770585 |
| 80 | 3.958438 | 0.207687 | 0.186228 | 4.001695 | (0.19331983805668015, 0.17498500218765073) | 0.186228 | 0.830420 | 0.511838 | 0.464069 |
| 81 | 3.280189 | 0.272421 | 0.257981 | 3.269663 | (0.2786774628879892, 0.2600833711079357) | 0.257981 | 0.795959 | 0.719955 | 0.721018 |
| 82 | 3.484893 | 0.252866 | 0.258146 | 3.425713 | (0.2479757085020243, 0.24837319942792568) | 0.258146 | 0.772638 | 0.689966 | 0.699622 |
| 83 | 3.486162 | 0.251517 | 0.240361 | 3.509850 | (0.24156545209176788, 0.22228991772977066) | 0.240361 | 0.763835 | 0.674521 | 0.665713 |
| 84 | 3.921067 | 0.218813 | 0.199941 | 3.908930 | (0.21929824561403508, 0.2009072247488556) | 0.199941 | 0.730009 | 0.573619 | 0.541552 |
| 85 | 3.444572 | 0.270735 | 0.272173 | 3.435668 | (0.26450742240215924, 0.2591430809571605) | 0.272173 | 0.684902 | 0.781172 | 0.782443 |
| 86 | 3.811772 | 0.250843 | 0.230829 | 3.808395 | (0.24527665317139002, 0.21963644210500138) | 0.230829 | 0.756169 | 0.634160 | 0.620812 |
| 87 | 3.510296 | 0.279501 | 0.267011 | 3.562184 | (0.2715924426450742, 0.25032550561330835) | 0.267011 | 0.646623 | 0.768884 | 0.765708 |
| 88 | 3.586286 | 0.263992 | 0.271517 | 3.577495 | (0.26282051282051283, 0.26446809930784443) | 0.271517 | 0.661741 | 0.749944 | 0.760090 |
| 89 | 4.681571 | 0.205327 | 0.188455 | 4.609154 | (0.1970310391363023, 0.18134395191079314) | 0.188455 | 0.742731 | 0.456595 | 0.465563 |
| 90 | 3.585675 | 0.287593 | 0.273742 | 3.588784 | (0.2813765182186235, 0.26347410244298847) | 0.273742 | 0.781117 | 0.772604 | 0.773621 |
| 91 | 3.380814 | 0.289953 | 0.293736 | 3.399356 | (0.27800269905533065, 0.2762667834464922) | 0.293736 | 0.669327 | 0.824352 | 0.832110 |
| 92 | 3.809807 | 0.255563 | 0.245581 | 3.781365 | (0.23852901484480432, 0.22403129911538794) | 0.245581 | 0.578794 | 0.691432 | 0.698756 |
| 93 | 3.557912 | 0.298382 | 0.292524 | 3.591677 | (0.28879892037786775, 0.2765689211334193) | 0.292524 | 0.626650 | 0.846449 | 0.853700 |
| 94 | 3.598173 | 0.291639 | 0.288085 | 3.617647 | (0.2793522267206478, 0.2716469880918758) | 0.288085 | 0.597514 | 0.842841 | 0.843943 |
| 95 | 3.736643 | 0.284221 | 0.273678 | 3.750029 | (0.2813765182186235, 0.2650870245011679) | 0.273678 | 0.526277 | 0.807103 | 0.806679 |
| 96 | 3.550263 | 0.287930 | 0.289019 | 3.557676 | (0.2894736842105263, 0.28299646343842333) | 0.289019 | 0.610835 | 0.870462 | 0.869356 |
| 97 | 3.746957 | 0.263655 | 0.277353 | 3.713209 | (0.2624831309041835, 0.27294248525187503) | 0.277353 | 0.660819 | 0.785457 | 0.792717 |
| 98 | 4.827035 | 0.207013 | 0.197829 | 4.793872 | (0.21322537112010798, 0.20244046627756077) | 0.197829 | 0.472199 | 0.559865 | 0.542621 |
| 99 | 3.920703 | 0.268038 | 0.271475 | 3.894989 | (0.25775978407557354, 0.25549422980333764) | 0.271475 | 0.654283 | 0.769448 | 0.781398 |
plt.plot(history['Loss'], label="loss")
plt.plot(history_test['Loss'], label="loss_test")
plt.plot(history_valid['Loss'], label="loss_valid")
plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)
<matplotlib.legend.Legend at 0x2431a76e520>
fig1, ax1 = plt.subplots()
ax1.plot(history['Fscore'], label="train")
ax1.plot(history_test['Fscore'],label="test")
ax1.plot(history_valid['Fscore'],label="valid")
ax1.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)
ax1.plot()
[]
fig1, ax1 = plt.subplots()
ax1.plot(history['Accuracy'], label="train")
ax1.plot(history_test['Accuracy'],label="test")
#ax1.plot(history_valid['Accuracy'],label="valid")
ax1.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)
ax1.plot()
[]
%matplotlib inline
from sklearn.metrics import confusion_matrix
import itertools
import matplotlib.pyplot as plt
cm_plot_labels = list(dataset['labels_mapping'].keys())
X = model.predict(images)
cm = confusion_matrix(y_true=labels, y_pred=X)
from pylab import rcParams
rcParams['figure.figsize'] = 12, 12
plot_confusion_matrix(cm=cm, classes=cm_plot_labels, title='Confusion Matrix')
Confusion matrix, without normalization
good_img = []
bad_img = []
for i, prediction in enumerate(X):
if labels[i] == prediction:
good_img.append(i)
else:
bad_img.append(i)
from pylab import rcParams
rcParams['figure.figsize'] = 10, 15
fig = plt.figure(figsize=(25,200))
columns = 2
print(rows)
ax = []
for i in range(rows*columns):
style=""
img_to_show = None
ax.append( fig.add_subplot(rows, columns, i+1) )
if i%2 == 0:
img_to_show=dataset['train']['X'][good_img[i]]
img_key = (labels[good_img[i]]).numpy()[0]
style='GOOD: '+ cm_plot_labels[img_key]
else:
img_to_show=dataset['train']['X'][bad_img[i-1]]
img_key = (labels[good_img[i]]).numpy()[0]
style='BAD: '+cm_plot_labels[img_key]
ax[-1].set_title("Style:"+style) # set title
plt.imshow(img_to_show)
5